Sequoia Capital の Training Data ポッドキャストの最近のインタビューで、Microsoft CTO の Kevin Scott 氏は、大規模言語モデル (LLM) のスケーリング則の永続的な価値に対する信念を改めて表明しました。

関連記事：AIアプリにリスクとテストを強調する「安全ラベル」機能を追加

マイクロソフトとOpenAIの130億ドルの取引で大きな役割を果たしたスコット氏は、今後も進歩が続く可能性について楽観的な見方を続けている。同氏は進行中の議論に対し、スケーリング法則の考え方はAI分野に依然として関連していると述べた。

OpenAIの研究はスケーリングのメリットを裏付ける

2020年にOpenAIの研究者らが提案したLLMスケーリング法則によれば、言語モデルの効率はモデルのサイズに比例して増加する。スコット氏は収穫逓減の法則を否定し、指数関数的成長を達成することはまだ可能だが、それを実現するには次世代のスーパーコンピューターが必要になるかもしれないと述べた。

一部の学者はスケーリング法則の持続可能性に疑問を抱いているが、OpenAI は依然としてそれを AI 計画の重要な要素として頼りにしている。スコット氏の発言は、これらの原則に対するマイクロソフトのアプローチと一致しており、このテクノロジー大手はより大規模な AI モデルの開発を止めるつもりがないことを示唆している。

AIコミュニティが将来のモデルの改善について議論

スコット氏の立場は、GPT-4や他の類似モデルで成長が止まったと考える一部のAI批評家とは全く逆だ。一部の批評家は、GoogleのGemini 1.5 ProやAnthropicのClaude Opusなどの最新モデルは、以前のモデルに比べて大きな改善が見られなかったと指摘している。AI批評家のゲイリー・マーカス氏は4月にこの見解を強調し、GPT-4のリリース以来大きな進歩が見られないことに疑問を呈した。

しかし、スコット氏は新たな発見の可能性については楽観的だ。また、AIにはデータポイントが少ないという事実も認めたが、将来的にはこれが問題ではなくなるだろうと強調した。

「次のサンプルが来る予定ですが、それがいつになるかは分かりませんし、どの程度良いものになるか正確に予測することもできませんが、現在脆弱な部分に関しては、間違いなく改善されるでしょう。」

ケビン・スコット

マイクロソフトがOpenAIに多額の資金を投じていることは、LLMの将来的な発展に対する同社の自信の証である。AI機能の一部にはMicrosoft Copilotが含まれており、同社がAIの活用改善に熱心であることは明らかだ。AI評論家のエド・ジトロン氏は、ある程度、人々がAIに期待しすぎているためにAIが行き詰まっているのかもしれないと述べた。