自己紹介

東京大学大学院数理科学研究科の博士課程二年をしている磯部 伸と申します。大学では航空宇宙工学を学んでいたのですが、大学院では、深層学習の理論解析をしています。特に、微分方程式が好きなので、Neural ODEや拡散モデルといった、層方向の連続極限と見なせる深層ニューラルネットワークが、研究の主たる対象です。このニューラルネットワークの学習を、偏微分方程式論で使われる手法（変分法、勾配流）を使って、数理解析しています。

インターンで取り組んだこと

インターンでは「拡散モデルに構造的な帰納バイアスを導入する基礎研究」というテーマで、主に理論研究に取り組んでいました。具体的には、拡散モデルの発展形であるFlow Matchingと呼ばれる生成モデルを、条件付き生成が可能なように一般化するということを行いました。インターン中の結果を含む成果は、国内会議（IBIS2023）にて、優秀プレゼンテーション賞に選ばれました。また、現在トップ国際会議にも投稿中です。

インターン参加のきっかけ

以前からPFNのインターンの存在自体は存じ上げていたのですが、（締め切り当日に）2023年度インターンのテーマ一覧をなんとなく眺めたところ、理論系の、しかも微分方程式に関するテーマがあったので、これは気になると思い、勢いで応募しました。

インターンに参加して得たもの

当初は理論研究しかできる気がせず、インターンが始まってから4週間は、一行もコードを書かずに、メンターの方とホワイトボードで議論し続ける毎日でした。その後、これは実装できそうだということになり、苦手な実装に2週間で取り組むということになりました。かなり無謀な試みでしたが、clusterチームの皆さんや、社内にいる強いエンジニアの方々が親身にアドバイスしてくださったおかげで、なんとか結果を出すことができました。この濃密な過程の中で、深層学習という技術が、理論のみならず、高度なエンジニアリングによって支えられているということを実感することができました。

こんな方にはPFNインターンをおすすめします！

現在の深層学習技術は、計算可能にするためのエンジニアリングは先行しているものの、その妥当性を保証してくれるはずの理論が遅れてしまっていると思います。
この状況を打破し、深層学習を安心できる工学技術に昇華させるためには、情報・工学系の学生の皆さんだけではなく、大学・大学院で理論をじっくり学んできた数物系の皆さんの協力も必要だと考えています。
PFNのインターンには、そのような理論志向の方々も楽しめるテーマもありますので、是非数物系の皆さんも応募してみてください。