センサデータに対する深層学習圧縮モデルの研究開発【2022年度インターン】
自己紹介
上智大学大学院 理工学研究科理工学専攻情報学領域 修士1年の中田敦也です。
今何を勉強/研究しているか
生成モデルの研究を行っております。学部ではGANを使用した全天球画像(360度全範囲が写っている画像のこと)を研究し、大学院ではGAN以外の生成モデルを用いた全天球画像生成を研究しています。
また、勉強としては今年の秋にデータベーススペシャリストの資格試験の勉強をしております。アルバイトでSQLを使用する機会があったため、そこで興味を持ち後学も兼ねて勉強を始めました。
インターンの参加年度、当時の学年、インターンテーマ
2022年度 M1 JE14. センサデータに対する深層学習圧縮モデルの研究開発
PFNインターンに期待していたこと、応募の理由
今まで学んだことのない分野の知識を学び、技術力を以前よりも伸ばすことができると思って応募しました。また、AIトップ企業の製品として使われる技術の開発に携われるというのも大きかったです。
PFNインターンの雰囲気について
私の場合はオンラインが主で、主にメンターやプロジェクト関係の方と携わるのがほとんどでしたが、とても話しやすく技術面や疑問点などについて丁寧に教えていただけました。
また、インターン生同士の交流は出社した日はランチを一緒に食べたり、オンラインでもGatherというアプリを介してビデオ会話などもできます。
インターンとして勤務した一日の様子
はじめに
私の場合は実験に用いるデータが大きすぎて(1つあたり150MBのデータが1000個以上)自分で実験ができないのできちんと計画してやらないといけなかったですが、普通は自分で直接計算クラスタを扱うことができるのでそこまで計画的にやる必要はないので、その点は注意してください。
9:00~11:00: 実験結果の確認しどういった工夫が優れていたか確認します。また、その結果をふまえてどういった実験をしたら良いか調べたりそれらを実装をします。
11:00~11:30: メンターの方とミーティングをします。短時間で実験のまとめや実験日程を伝えたりするので何を言いたいのかきちんと把握しているとスムーズに行きます。また、アドバイスなども積極的にいただくと非常に参考になります。
11:30~12:00: ミーティング結果をもとに何を実装すべきか明確にしたり、その実装準備をします。参考になる論文を教えていただいたりしたら概要や実装の参考になりそうな部分を読んだりします。
12:00~13:00: 出社している場合はメンターの方やインターン生の方とランチを食べます。お弁当を買ったり空いていればそのまま外食したりします。
13:00~15:00: 実際に実装をしていきます。モジュール性を考えたり、過去の実験に悪影響を与えないように注意しながら実装をすると後々楽になるケースが多かったです。
15:00~16:00: 実装が正しく動作するか小さいデータで動作確認します。うまく動作すればGitHubに実装をアップロードし、サーバが参照できる状態にします。
16:00~17:00: どのようなパラメータで実験するかファイルに記述しメンターの方に実験をお願いします。また、エラーが出た場合はその対応をして再度お願いします。
17:00~18:00: 今日実装しきれなかった分の準備や後日実装するための準備をしたり、参考論文を読んだりします。
18:00: 退勤を行い今日の進捗をメンターの方に報告します。
また、何度かプレゼンテーションの機会があるので空いた時間に資料を作ったり練習をします。
PFNインターンで面白かったこと、興味深かったこと
インターンシップで面白かったのは大量のスパコンがほぼ使い放題なところです。私的には利用できませんが、インターン関連であれば大量に使えるのでできること(例えばかなり大きいバッチサイズで動かすなど)が多くとても楽しいです。実験もkubernetesを使ってjobを投げるだけなので簡単に使えてとても研究が捗ります!
PFNインターンで大変だったこと
大学院での研究と全く異なる圧縮というタスクだったので前提知識の学習から、それを実際にコードに落とし込み実装するのが大変でした。ただそうした中で新しい知識や技術に触れられて楽しかったり、自身の実装が採用されるなどとても達成感がありました!
PFN、入る前と入った後で想像とちがったこと、同じだったこと
想像と違ったのは、研究システム全体が非常に洗練されていて難しい設定もあまりなく1,2日で簡単に使えるようになる点です。私はDockerもkubernetesもほぼ使ったことありませんでしたが、やりたいことはほとんど聞かなくても自分一人で出来たので、こういった技術に触れたことがない人も心配せずできるのがとても良かったです。
また、社員の方一人ひとりが本当にプロフェッショナルで、知識量の多さも実装力の高さも想像より何倍も高かったです。こういった方々と一緒に働くことで技術や知識だけでなく世界をリードする社員としてのあり方を感じられました。
PFNインターンに参加して学べたこと
今まで触れることのなかったDockerやkubernetesなどの基本技術から、未知の分野の論文を実装するなど多くの知識や技術を学ぶことができました。
また、それ以外にも他の方にも読みやすい実装や実際に製品として動作することを想像しながらデモを作成するなど実用的な開発技術を学ぶことができました。
PFNインターンの経験がその後の学内・学外の生活で活きたエピソード
研究内容とインターンでの内容で関連が薄いのであまり具体的ではないですが、他の人にわかりやすいようにプログラミングする、例えば実装の楽さより単純化し一つの関数やクラスに複数の役割を持たせないなどの工夫を常に考えるようになりました。
PFNインターンの成果をブログや論文として発表できました
インターンシップの成果を2023年度電気学会全国大会において発表しました。また、気象学会でも発表予定です。
こんなヒトにはPFNインターンおすすめします!
開発が好きな人、深層学習などの技術が好きな人は特におすすめです!また、3DスキャンやCuPy,OptunaなどPFNが作るものに興味がある人にもおすすめです!

