本記事は、2026年度夏期インターンシップに参加いただいた伊藤 有汰さんによる寄稿です。
はじめに
2026年夏季インターンシップに参加した慶應義塾大学大学院 政策・メディア研究科1年の伊藤有汰です。大学では音楽・作曲の共同制作支援を研究しています。インターンでは8月から9月までの6週間 Education チームに所属し、子ども向けプログラミング教材 Playgram のクリエイトモードで生成AIを活用する機能の開発と検証に取り組みました。
概要
Playgram のクリエイト作品を対象に、次の開発と検証を行いました。図1に取り組み全体の関係を示します。
教室のコーチ向けに、クリエイト作品の保存データから4観点の評価と講評の下書きを生成する機能の開発
コーディングエージェントにクリエイト作品を作らせる検証と、そのためのハーネスとゲーム本体へのブリッジの開発
生徒向けに、お手本の教材に沿って1ステップずつ作品を組み、AI がヒントと説明を出す「クリエイト道場」の開発
.png)
図1 今回の取り組みの概要。保存データを使い、コーチ向けの講評と生徒向けの制作支援に取り組みました。
Playgram とクリエイトモード
Playgram は PFN の子ども向けプログラミング教材で、PFN とやる気スイッチグループの合弁会社である YPスイッチが展開するプログラミング教室 HALLOで使われています。ミッションモードとアドバンスモードでは章ごとの課題を解きながらプログラミングとコンピュータサイエンスの基礎を学びます。クリエイトモードは自由制作のモードで、生徒は3Dのフィールドにドット絵や建物やゲームを作って公開できます(図2)。
※掲載画像は開発段階のものであり、正式版とは異なる場合があります。
.jpeg)
.png)
図2 クリエイトモードの画面(Playgram 紹介資料より)
クリエイトモードには物を手で配置する機能がありません。生徒が作品に置く箱やタイルは、すべてロボットにプログラムを実行させて置いたものです。プログラムは Scratch のようにブロックを組み合わせて作ります。この記事で「ブロック」と書くときはこのプログラムの部品を指し、フィールドに置く箱やタイルや家具は「物」と呼びます。
作品の保存データは JSON 形式で、ロボットごとのプログラム(ブロックの木構造)と、置かれた物の種類と座標と色が記録されています。したがって保存データを読めば作品の中身が分かり、保存データを書けば作品を作れます。講評の機能は保存データを読む側の取り組みで、エージェントによる作品の生成とクリエイト道場は書く側の取り組みです。
コーチ向けの講評の下書き
背景と要件
教室のコーチは、作品発表会の前に各作品の概要と褒めるべき点を把握しておきたいと考えています。しかし作品は城の再現から13体のロボットを使うチェスまで多岐にわたり、すべてを遊んで確かめる時間はありません。そこで作品の保存データから観点ごとの評価と講評の下書きを自動で作成することにしました。要件は1作品あたり5分以内、現実的なトークン数で生成できることです。
既存研究では、ブロックの種類からプログラミングの概念を評価する Dr. Scratch [1] や、建物の画像を LLM に評価させる Creative Agents [2] が提案されています。今回は、使ったブロックだけでは捉えにくい工夫も評価するため、保存データと描画画像の両方を渡し、コンテストのルーブリックに沿って評価させました。
評価の観点には、2026年3月に開催されたコンテストのルーブリック(観点ごとに段階を定めた評価基準)を用いました。コンテストでは教室の担当者による一次審査と PFN のエンジニアによる二次審査を経て、最終発表会に進んだ24作品を審査で評価しました。講評の機能では、ルーブリックの観点のうち「表現力・芸術性」「仕組み・構造の工夫」「操作の面白さ・分かりやすさ」「作品全体のコンセプト表現」の4観点を A/B/C で評価します。
入力の構成
講評の生成では、作品のプログラムや見た目に加え、ゲームのルールをAIに伝えました。作品の情報をただ渡すのではなく、生徒がどのような工夫をしたのかを読み取れるように、入力する内容を整理しました。
.png)
図3 作品の情報をもとに講評の下書きを生成する流れ
ゲームの仕様
LLM は Playgram の仕様を知らないため、説明なしでは存在しない機能を使う提案が混ざります。そこで、遊ぶ人ができる操作、プログラムが動くタイミング、主なブロックの種類を説明書にまとめました。たとえば複数のロボットは同時に動くこと、セリフは数秒で消えること、関数はロボットごとに定義することなどです。作品で使われているブロックについては、画面上の表示に対応する説明も付けています。
効果を確かめるため、審査結果のある20作品について2種類の入力を用意しました。説明書をすべて含めた入力と、ゲームに関する説明(規則、ブロックの一覧、用語集など)をすべて除いた入力です。それぞれで軽量モデルの gpt-5.6-luna に講評を生成させました(表1)。ゲームにない機能を前提にした文の抽出は、説明書を与えた上位モデルの gpt-5.6-sol に行わせました。
表1 説明書の有無と講評の誤り(審査結果のある20作品、gpt-5.6-luna、各条件2回ずつの計40本)
説明書を除くと、ゲームにない機能を前提にした文が増えました。作品ごとの差からブートストラップで求めた95%信頼区間は0を含みません。除いた入力では「敵を消す」(ロボットを消すブロックは存在しない)や「関数で複数ロボットの処理をまとめる」(関数はロボットごとのもの)といった文が出力されました。一方で審査員の評価と一致した観点の数の差は信頼区間が0をまたいでおり、この作品数では差があるとは言えません。
本番の入力でも誤りは残ります。コンテスト作品の講評から LLM が挙げた候補を人手で確認した結果、ゲームにない機能を前提にした文を含む講評は約8%と見積もりました。また、ロボットの数や発言主など作品自体の読み違いは1本あたり約0.6件、43%の講評に1件以上含まれると見積もっています。説明書だけで誤りを解消することはできません。
作品情報の整理
作品の情報には、講評に必要なものと、そうでないものが含まれています。そこで、作品の工夫を読み取るための情報を残しながら、入力を簡潔にしました。今回の限定的な比較では、整理の前後で審査員の評価との一致や、ゲームにない機能を前提にした文の数に明確な差は確認できませんでした。
作品の画像
座標の一覧だけでは題材を読み取りにくいため、作品を真上と斜め上の4方向から描画して渡しました。複数方向の画像で3D作品を評価する GPTeval3D [3] を参考にしています。
見た目が主題のいくつかの作品について、タイトルを除いて画像の渡し方を比較しました。文字などから題材が分かった作品を除き、画像なし・真上のみ・真上と斜め上の3条件で各3回生成し、方法を伏せて題材を読み取れたか判定しました(表2)。
表2 画像の渡し方と、題材を読み取れた回数(gpt-5.6-luna、タイトルなし、各条件3回)
木を題材にした立体作品は真上から見ると細い帯や円にしかならず(図4)、斜め上からの図があるときにだけ建物や木だと読み取れました。集合住宅を題材にした作品は、置かれた家具の名前から画像なしでも建物だと判断できていました。なお本番ではタイトルも入力に含めています。
.png)
.png)
図4 同じ作品(木を題材にした立体作品)を真上から見た図(上)と斜め上から見た図(下)
モデルの選択
gpt-5.6 の軽量モデル luna、中位モデル terra、上位モデル sol を、コンテストの作品で比較しました(表3)。入力は本番と同じで、各モデルで1作品につき1回ずつ講評を生成しています。
表3 モデルごとの比較(24作品、各モデル1回。時間は中央値)
今回の作品数と試行回数では、審査員の評価との一致や、ゲームにない機能を前提にした文について、3モデルの明確な差は確認できませんでした。ただし、この結果だけでモデルの性能が同等だと結論づけることはできません。講評はコーチが確認・修正する下書きとして位置づけ、実際の利用に適した品質かどうかは、引き続き確かめる必要があります。
審査員の評価との比較
コンテストの152作品について、4観点の評価(608判定)を審査員の評価と比較しました(表4)。モデルは luna で、reasoning effort(回答の前に推論にかける量の設定)は medium です。二次審査の S/A/B はファイナル審査の A/B/C に合わせて、S を A、A を B、B を C に読み替えています。判定の完全一致は58%、1段階のずれは41%、A と C のような2段階のずれは0.3%でした。表4の二次重み付きκは偶然による一致を差し引いた一致度で、1が完全な一致、0が偶然と同程度を表します。ずれが大きい判定ほど重く数えます。
表4 観点ごとに見た、審査員の評価との一致(二次審査の152作品。信頼区間は判定のペアをブートストラップで4,000回再抽出して求めた値)
ファイナリストの24作品(96判定)についてはファイナル審査の評価と別に比較し、完全一致は64%、1段階のずれは34%でした。二次審査は S/A/B、ファイナル審査は A/B/C で評価しており基準も異なるため、2つの結果は合算していません。二次審査は1作品を1名が担当しているので、審査員どうしの一致度も分かっていません。プロンプトに書いた判定の目安は、二次審査の152作品の結果を見ながら調整したものです。また同じ入力でも評価は生成のたびに変わり、入力を変えていない40作品を評価し直すと判定の19%が変わりました。以上の理由から、どちらの一致率も参考値として扱っています。
ファイナリスト24作品の評価を見たメンターの1人からは、明らかに A や C だと思える作品はしっかり拾えているという感想をもらいました。
同じメンターはファイナリスト24作品の講評を読み、人が書いた講評より精密だと評価しました。一方で、視点を切り替えられることや関数を複数のロボットで共有できないことなど、ゲームの仕様を踏まえていない箇所があるという指摘も受けました。この2点は現在、説明書の規則に加えています。実際に遊んだときの操作感や音は入力に含まれていないため、この講評はコーチや審査員が作品を読む前の下書きとして使う想定です。
管理画面への組み込み
教室のスタッフが使う管理画面の作品一覧にボタンを追加し、1クリックで評価と講評のページを開けるようにしました(図5)。生成には15秒から2分ほどかかるため、このリクエストは時間のかかる処理を受け持つサーバーに振り分けています。管理コマンドで全作品を一括処理することもでき、前述の一致率の測定もこの方法で行いました。本番と同じ設定で175作品を処理したときの中央値は、1作品あたり20秒でした。
図5は城を題材にした作品の例です。AI の評価は表現力 A、仕組み B、操作 B、コンセプト A(審査員は A、C、C、A)でした。講評では青と赤と金を使った大きな城と、複数の登場人物をそろえた点を褒め、クイズの答えに応じて正解と不正解の演出を変える改造を提案しています。
.png)
.png)
図5 城を題材にした作品の描画画像(上)と、管理画面の講評ページ(下)。講評の本文と生成情報は伏せています。
AI ヒント付きのクリエイト道場
背景
クリエイトモードは自由に作品を作れる反面、生徒にとっては取り組みにくいモードです。インターンのテーマ説明の資料では生徒の悩みとして、何を作りたいかが決まらないことと、アイデアがあってもプログラムにできる単位に分解できないことが挙げられていました。インターンのもう一つのテーマは、AI エージェントを使ってこの悩みに対処できないかという、形の決まっていないものでした。どのように支援するかを決めるには、まずコーディングエージェントがクリエイトモードでどのような作品を作れるのかを知る必要があります。そこでドット絵や建物、複数のロボットを使ったゲームなどをエージェントに作らせ、何ができるかを試しました。
エージェントによる作品生成を試すため、生成した作品を確認し、問題があれば修正する流れを用意しました。まず作品のデータに不備がないかを確かめ、その後、ゲーム内で実際に動かして確認します。
.png)
図6 生成した作品を確認し、修正する流れの概念図
作品の生成・検証と動作確認
検証を進めると、データとしては正しくても、意図した見た目や動きにならない場合がありました。配置のずれや操作時の問題などは、ゲーム内で動かして初めて分かることもあります。試行を重ねることで、建物だけでなく、プレイヤーの操作に反応する作品も生成できました。一方、見栄えのよさと遊びやすさは必ずしも一致しません。生成された画像を見るだけでなく、人が実際に遊んで確かめることが重要だと分かりました。
生成した作品の例
.png)
図7 検証中にエージェントが生成した作品の例。作品ごとに依頼内容は異なります。
ハンズオンによる学習支援
Playgram のミッションモードには生徒のプログラムを見てヒントを出す AI ティーチングの機能があり、これをクリエイトモードにも応用できないかという議論は以前からありました。エージェントの検証結果を踏まえ、教育向けにどのような形で支援するのがよいかをメンターと相談しました。Playgram は教育のための教材です。今回は、生徒自身が考えてプログラムを組む機会を大切にし、AIはその過程を支える役割にする方針をとりました。私はクリエイトモードにもお手本に沿って作れる教材があるべきだと考え、その形を提案していました。私自身も手を動かしながら覚えるほうが身につくと感じているためです。議論の結果、検証で作った仕組みでお手本の教材を用意し、生徒が教材に沿って自分でプログラムを組み、それを AI が支援する形に決まりました。
AI が作品を作るのは教材を用意する段階で、生徒の作品は生徒自身が組みます。建物が豪華なお手本は生徒の興味を引くため、見た目の凝った教材を用意できることにも価値があります。お手本があれば作るものが決まっていない生徒も始めやすく、ステップに分けておけばアイデアを分解できない生徒も先に進めます。
クリエイト道場の画面
こうして作ったのが「クリエイト道場」です。ステージ選択画面では「フリーでつくる」と「クリエイト道場」を切り替えられ、道場では教材の一覧とおすすめの教材が表示されます(図8)。おすすめでは LLM が教材の一覧から3本を選び、その生徒に向けた紹介文を付けて表示します。選ぶ際には、生徒が画面で選んだ作りたいもののジャンルと自由記述の作りたいもの、希望の難しさ、クリア済みのチャプターを使います。教材を選ぶと、生徒はまず完成したお手本を遊び、その後1ステップずつ自分でプログラムを組みます。子ども向けの文は、ミッションモードと同じく漢字にふりがなを付けて表示しています。
.png)
.png)
図8 ステージ選択画面の道場の教材一覧(上)とおすすめ(下)
各ステップでは、作るものと使うブロックを示します。生徒が途中で迷ったときには、目標やプログラムのプレビューを確認でき、次に操作する場所を視覚的に案内するヒントも用意しました。文章だけでは伝わりにくい操作も、画面を見ながら進められることを目指しました。
「AIにきく」のボタンでは、決まった質問から選んで AI に尋ねられます。質問はこのステップのプログラムの説明と、いまのプログラムが動かない理由と、完成後の改造のアイデアで、自由に文字を入力する欄はありません(図9右)。AI はプログラムを読むだけで書き換えず、質問ごとに1回呼び出されます。当初の設計では、画面で案内する次の操作を AI が言い換えていました。しかし自分で試遊したところ、言い換えを読んでも指で示す表示以上の情報は得られませんでした。このため、操作の案内だけでは伝えられない説明や理由や改造案に AI を使う形に変更しました。
.png)
.png)
図9 ピアノの教材のステップ1で、次に取り出すブロックを指で示している画面(上)と、同じステップで「AIにきく」の質問に答えた画面(下)
作業中の進み具合は作品とともにサーバーへ保存し、通常の作品一覧から続きを開けるようにしました。
教材の作成と実機での確認
教材は19本用意しました。それぞれの制作手順を段階に分けており、全教材を合わせると158ステップになります(図10)。既存の教材をもとに16本を作り、ピアノ、まねっこメロディ、ブロック崩しの3本を新たに用意しました。新しい3本は同じ制作支援の仕組みを使って手作業で組み、操作に反応して動く作品にしました。
.png)
図10 19本の教材の完成したお手本(ゲーム内の画面)
最初に作った16本は、データの検証を通っていました。しかし、実際のゲーム内で動かしてみると、5本で意図した動作にならない問題が見つかりました。
島の橋: ゴールが水面より8マス高い位置に浮いていた
階段: 地形が x 方向に7マスずれていた
筆算: 3行の数字がタイルの盤の外に書かれていた
門番: 通路の x 座標が違っていた
3Dのみかん: 曲がるべきところで曲がらず、60マスの直線を描いていた
いずれもデータとしては正しく、位置や向きだけが違うものです。この種の不具合は検証では見つからず、実機で再生して初めて分かります。5本はすべて修正して再生し直しました。
さらに自分で遊ぶと、再生では分からない直すべき点がほぼすべての教材で見つかりました。ブロック崩しでは崩れない的があり、ピアノでは PIANO の看板が屋根の下に隠れて見えませんでした。見つけた問題は修正し、あわせて使う変数をあらかじめ用意しておくようにし、1ステップで組むブロックの数を減らしました。まねっこメロディは、当初の9ステップを最終的に18ステップに分割しました。
教室運営に関わっている方々へのデモ
実際の教室運営に関わっている方々にクリエイト道場のデモを見ていただいたところ、このような機能が欲しかったという声を多くいただきました。特に評価されたのは、次に操作するブロックを明るく見せて指で運ぶ表示です。ミッションモードと同じ感覚で使えるため、文章をまだ読めない年齢の低い生徒もいる教室では助かるという意見でした。文章の中にブロックを埋め込んで表示する方法も、分かりやすいと好評でした。
先生からは、レゴでも説明書のないバケツをいきなり渡すより説明書付きのセットから学んでいく、という話もありました。裏を返せば、現在クリエイトモードで作品を作っている生徒は、こういう場面ではこう組むという型を知らないまま作っていることになります。
今後の課題
講評機能とクリエイト道場は、まだ実際の教室で運用される段階には至っていません。今後はコーチや生徒に利用してもらい、講評の使いやすさや生徒のつまずき、学習への効果を確かめる必要があります。道場の AI 機能を教室で使うためのサーバー側の整備と、画面の視認性の改善も課題です。
教材は、操作して遊べるものを中心に増やしたいと考えています。最初からすべて選べるようにするか、進捗に応じて解放するか、ヒントをどこまで見せるかは、生徒の反応を見ながら調整します。「AIにきく」では似た改造案が出やすかったため、説明の分かりやすさに加え、提案の質と幅も改善したい点です。
講評では、ロボットの数や発言主を取り違える誤りが残りました。説明書を補うだけでなく、作品から確かめられる事実を確認し、コーチが修正しやすい提示方法を検討します。発表会用の要点や子ども向けの講評レポートなど、デモでいただいた要望にも対応したいと考えています。
作品生成では、データの検証、描画画像の確認、実際のプレイを組み合わせる必要があります。画像の確認を生成手順に組み込み、物の重なりや形の破綻を減らせるかを検証します。また、操作への反応や終了条件などを確認項目として整理し、評価を効率化したいと考えています。部屋に入れるか、プレイヤー視点で見やすいかといった点は画像だけでは分からないため、将来的にはエージェント自身が操作して確かめる仕組みも検討します。
実験では API のレート制限や、ゲームを実時間で動かす確認工程がボトルネックになりました。生成と実機確認を分離して順番に処理するなど、実験の進め方も改善する予定です。現在は教材開発のための利用が中心なので、生成環境もその用途に合わせて簡素化し、異なるコーディングエージェントを使った場合の品質を比較したいと考えています。
おわりに
保存データと説明書、作品の画像から、4観点の評価と講評の下書きを生成できるようになりました。また、作品の生成・検証とゲーム上の動作確認を組み合わせ、操作して遊べる作品を作れるようになりました。この仕組みを使って19本の教材を用意し、制作手順を計158ステップに分けてクリエイト道場で使っています。
インターンの6週間は、何を作るかから実装の進め方まで自由度が高く、楽しく取り組めました。最初から3つのテーマが決まっていたわけではなく、講評の機能のあとにエージェントの検証に進み、その結果を見てクリエイト道場を作る、というように途中の結果に応じて進む方向を変えられました。
Playgram は HALLO の教室で実際に使われている製品で、そこに自分の作った機能を足せたことは貴重な経験でした。作ったものを教室で使う YPスイッチの方々にすぐ見ていただき、その場で意見や要望をもらえる環境も、自分にとって大きな励みでした。デモでこのような機能が欲しかったと言っていただけたことが、この期間で一番うれしかった出来事です。
メンターの丸山さんと叶さんには、テーマの相談から成果物の確認に至るまで、様々な場面でお力添えいただきました。また Education チームと YPスイッチの皆さまには、講評の結果やクリエイト道場のデモを見て意見をいただきました。この場をお借りして感謝を申し上げます。ここまでお読みいただきありがとうございました。
参考文献
[3] T. Wu et al. GPT-4V(ision) is a Human-Aligned Evaluator for Text-to-3D Generation. CVPR 2024.

