インターンで取り組んだこと

「材料に関する機械学習や原子シミュレーションの開発・応用研究」というテーマに申し込み、拡散モデルをもちいた分子構造生成に取り組みました。このモデルの面白いところは訓練するときに、ノイズの復元を学習する代わりに、ノイズが拡散していく確率過程の支配方程式を学習させることで、「データベースに登録された分子構造の分布」ではなく「物理方程式にしたがう分子構造の分布」から分子構造を生成させるところです。インターンの序盤は物理学で扱う確率過程や統計力学の基礎的な復習から初めて、中盤ではトランスフォーマーを使った予測モデルの構築と生成のデモンストレーション、終盤ではモデルの学習困難性の原因を考察し、指針を見つけることができました。

インターン期間中の過ごし方

普段は京都に住んでいますが、インターン期間中は家賃補助を利用してウィークリーマンションに滞在する選択肢もあったものの、私は関東にある実家からほぼ毎日通勤しました。オフィスが駅直結という立地だったこともあり、通勤の負担はそれほど感じませんでした。インターンの前半は、実装よりも学ぶべきことが山積みだったため、空き時間を活用して専門書や技術書を読み、キャッチアップに努めました。出社後は 9 時から 18 時まで、ほぼ普段の研究と同じようなリズムで過ごしましたが、ランチ休憩やチームのミーティングにも参加でき、技術的なこだわりや開発スタイルに関する話を聞けたのがとても興味深かったです。 また、インターンと並行して大学の研究を続けている同期もいましたが、私は事前に研究を一区切りつけてから参加したため、インターンに専念するスタイルを選びました。それでも、学会発表のためにスケジュールを調整するなど、柔軟に対応できたのはありがたかったです。

インターン参加のきっかけ

PFN が開発したサービスである Matlantis はすでに私の専門とする理論化学の分野でも広く認知されており私も当たり前のように知っていました。それでもインターンに参加しようと決めたきっかけは、若手向けの勉強会でポスター発表していたときに、社員の方に勧誘されたこと、そして過去に参加した優秀な知人がその経験を熱く語っていたことでした。特に、近年の分子生成モデルの研究は華やかで魅力的なものが多く、強く関心を惹かれますが、機械学習を専門としない物理化学系の立場からすると、独学でキャッチアップするにはハードルが高い。そこで、実践的な環境で最前線の知見に触れられるインターンこそが、最適な学びの場だと考えました。

インターンに参加して得たもの

実のところ、拡散モデルやトランスフォーマーモデル、さらには PyTorch を使ったスクラッチ実装すら初めての経験でした。しかし、試行錯誤を重ねるうちに、最終的には研究で実用できるレベルまで習得し、ニューラルネットワークを用いた計算化学の論文を批判的な視点で読めるようになりました。 また、驚かされたのは、Matlantis のサービス開発に携わるリサーチャーやエンジニアの層の厚さです。PFN は純粋な機械学習の会社だという先入観を持っていましたが、実際には多くの計算化学の専門家が活躍する基盤が築かれており、そうした環境を目の当たりにできたことは非常に貴重な体験でした。

こんな方には PFN インターンをおすすめします！

「PRML」や「ゼロから作るシリーズ」などを読み、機械学習に興味を抱いたものの、実際の研究に応用するには高いハードルを感じている -そんな生物・物理・化学を専門とする方々にこそ、ぜひインターンをおすすめしたいです。私自身、インターンのテーマと普段の研究との共通点は「分子系の計算をしている」という点くらいしかありませんでした。しかし、2ヶ月間、ゴールを見据えて試行錯誤を重ねることで、思いのほか形になる成果を残すことができます。