最近のChatGPTやClaudeなど、大規模なAIは本当にいろんなことを知っているように見えますよね。 でも、その「知識」ってどうやって覚えているんでしょうか？
その仕組みを、シンプルな設定で丁寧に調べたGoogleの論文「How do language models learn facts?」がとても面白かったので、わかりやすく紹介してみます。
この論文は何を調べたの？
この研究は、AIが「事実」や「知識」をどうやって学習し、それを思い出せるようになるのかを追いかけたものです。
たとえば「東京は日本の首都」というような情報を、AIはどのタイミングで覚え、どんな風に使えるようになるのか。 それを調べるために、研究者たちは、架空の人物に関する伝記（名前・出身地・大学など）をAIにたくさん覚えさせて、どのように知識を覚えていくかを見ていきました。
知識を覚えるには3ステップある
実験の結果、AIは次のような3つのステップで知識を覚えることがわかりました。
- ざっくりとした傾向を覚える時期
- たとえば「人の名前のあとには地名が来ることが多い」みたいな、全体のパターンを学習する段階です。
- いったん止まる「プラトー」時期
- 正解率がしばらく変わらず、伸び悩む期間があります。
- でもこのとき、AIの中では“名前と情報をつなぐ仕組み”が少しずつ作られていることがわかりました。
- 一気に覚え始める時期
- 名前と情報を正しく結びつけられるようになり、たくさんの知識をしっかり思い出せるようになります。
この流れは、ちょっとずつ理解していって、あるとき一気に「わかった！」となる人間の学びにも少し似ていて面白いです。
「新しいことを教える（ファインチューニング）」のは意外と難しい
AIに新しい知識を追加で教えることは、簡単そうに見えて実はとても難しいことがわかりました。
たとえば、すでに「Aさんは東京に住んでいる」と覚えているAIに対して、「Bさんは大阪に住んでいる」と新しく教えようとすると、次のようなことが起きてしまいます：
- Bさんの情報をうまく覚えられない
- Aさんの情報も忘れてしまう
つまり、新しいことを教えたら、前のことが壊れてしまうのです。
これは「破滅的忘却（catastrophic forgetting）」という問題で、今のAIモデルがかかえる大きな課題です。
研究者たちは、前に覚えたデータも一緒に見せながら学習させる「リプレイ」という方法も試しましたが、それでも効果は限定的でした。
この問題は、実際のサービスでも大事なポイントです。 たとえば「最新ニュースを取り込んだAI」や「法律の改正に対応したAI」を作るとき、ただ上書きするだけでは不十分になることがあります。
そのため、今後は、
- 外部のデータベースをうまく使う
- 重要な知識だけをうまく残す
- 部分的にだけ学習させる
といった工夫が必要になると考えられています。
まとめ：AIの学び方を知ることが、次の進化につながる
この論文は、AIがどんなふうに「知識」を覚え、それを使えるようになるのかを、とても丁寧に調べてくれています。
ポイントは、
- 覚えるのには段階がある（いきなり全部は無理）
- 一度覚えたことを壊さずに新しく学ばせるのはとても難しい
という2点です。
今後、もっと賢いAIを育てるには、この「学び方」をしっかり理解して、効率的な教え方・忘れにくい仕組みを作る必要があります。
これからのAI開発のヒントになる、非常に面白い論文でした！
