OpenAIの次世代モデルがパフォーマンスの壁に直面：報告

OpenAIの次期人工知能モデルは、前のモデルよりもパフォーマンスの向上が小さいことが、関係者からの情報によって示されています。

従業員のテストでは、オリオンがトレーニングの20％を完了した後にGPT-4レベルのパフォーマンスを達成したことが報告されています。

GPT-4から現在のGPT-5のバージョンへの品質向上は、GPT-3からGPT-4へのそれよりも小さいようです。

「同社の一部の研究者は、オリオンが特定のタスクを処理する際に前のモデルよりも信頼性があるわけではないと信じています」とThe Informationは報告しました。「オリオンは言語タスクではより優れていますが、コーディングなどのタスクでは以前のモデルを上回ることはないかもしれません」とOpenAIの従業員は言いました。

オリオンがトレーニングの20％でGPT-4に近づくことは一部には印象的かもしれませんが、AIトレーニングの初期段階では通常最も劇的な改善がもたらされ、以降の段階では小さな進展が得られることに注意することが重要です。

したがって、残りの80％のトレーニング時間は、以前の世代の飛躍で見られた同じ規模の進歩を生み出すことはないと関係者は言っています。

画像：V7ラボ

制限は、最近の66億ドルの資金調達ラウンドに続くOpenAIにとっての重要な岐路で現れます。

同社は現在、投資家からの期待が高まる中、AI開発における従来のスケーリングアプローチに挑戦する技術的制約に悩んでいます。これらの初期バージョンが期待に応えない場合、同社の今後の資金調達活動は以前のような盛り上がりを持たないかもしれず、それはSam AltmanがOpenAIに望んでいる可能性のある営利企業にとって問題になるかもしれません。

期待外れの結果は、AI業界全体が直面している根本的な課題を示しています：高品質なトレーニングデータの供給の減少と、生成AIのような競争の激しい分野で関連性を保つ必要性です。

6月に発表された研究では、AI企業は2026年から2032年の間に利用可能な公的な人間生成テキストデータを使い果たすと予測されており、従来の開発アプローチにとって重要な転換点を示しています。

"私たちの調査結果は、現在のLLM開発のトレンドは従来のデータスケーリングだけでは維持できないことを示しています"と研究論文は述べており、合成データ生成、データが豊富なドメインからの転送学習、非公開データの使用など、モデル改善の代替アプローチの必要性を強調しています。

ウェブサイト、書籍、その他のソースから公開されているテキストに基づいて言語モデルをトレーニングする歴史的戦略は、限界利益の減少に達しました。「開発者はそのタイプのデータからできる限りのものをほぼ絞り出した」とThe Informationは述べています。

OpenAIがこの問題に取り組む方法：推論対言語モデル

これらの課題に対処するために、OpenAIはAI開発へのアプローチを根本的に再構築しています。

「GPTの改善が鈍化しているという最近の課題に対するトレーニングベースのスケーリング法への挑戦に応じて、業界は初期トレーニング後のモデル改善に努力をシフトしているようです。これにより、異なるタイプのスケーリング法が生まれる可能性があります」とThe Informationは報告しています。

この継続的改善の状態を達成するために、OpenAIはモデル開発を2つの異なるトラックに分けています：

Oシリーズ（ストロベリーというコードネームのようです）は、推論能力に焦点を当てており、モデルアーキテクチャの新しい方向性を示しています。これらのモデルは、はるかに高い計算強度で動作し、複雑な問題解決タスクのために明示的に設計されています。

計算要件は膨大で、初期の見積もりでは運用コストが現在のモデルの6倍に達することが示唆されています。しかし、強化された推論能力は、高度な分析処理を必要とする特定のアプリケーションに対して、増加した費用を正当化する可能性があります。

このモデルがストロベリーと同じであれば、OpenAIのLLMの質を常に向上させるために十分な合成データを生成する任務もあります。

並行して、オリオンモデルまたはGPTシリーズ（OpenAIがGPT-5という名称を商標登録したことを考慮すると）は、一般的な言語処理とコミュニケーションタスクに焦点を当てて進化し続けています。これらのモデルは、より広範な知識ベースを活用しながら、書き込みや議論タスクに対してより効率的な計算要件を維持します。

OpenAIのCPOであるケビン・ワイルもAMAの中でこれを確認し、将来的に両方の開発を収束させることを期待していると述べました。

「どちらかではなく、両方です」と彼は、OpenAIがより多くのデータでLLMをスケーリングすることに焦点を当てるのか、より小さくても速いモデルに焦点を当てるのか尋ねられたときに答えました。「より良いベースモデルと、より多くのストロベリーのスケーリング/推論時間の計算です。」

回避策か、究極の解決策か？

合成データ生成を通じてデータ不足に対処するOpenAIのアプローチは、業界に複雑な課題を呈しています。同社の研究者は、トレーニングデータを生成するために設計された高度なモデルを開発していますが、この解決策はモデルの品質と信頼性を維持する上で新たな複雑さをもたらします。

Decryptが以前に報告したように、研究者たちは合成データでのモデルトレーニングが両刃の剣であることを発見しました。データ不足への潜在的な解決策を提供する一方で、モデルの劣化や信頼性の懸念という新たなリスクを引き起こします。

言い換えれば、モデルがAI生成コンテンツでトレーニングされるにつれて、出力の微妙な不完全さを増幅する可能性があります。これらのフィードバックループは既存のバイアスを永続化し、拡大させることができ、検出し修正することがますます困難になる累積効果を生み出します。

OpenAIのファウンデーションチームは、データ品質を維持するための新しいフィルタリングメカニズムを開発しており、高品質と潜在的な問題のある合成コンテンツを区別するためのさまざまな検証技術を実装しています。チームはまた、人間とAI生成コンテンツを戦略的に組み合わせて、両方のソースの利点を最大化し、それぞれの欠点を最小限に抑えるハイブリッドトレーニングアプローチを探求しています。

トレーニング後の最適化も重要性を増しています。研究者たちは、初期のトレーニングフェーズ後にモデルのパフォーマンスを向上させるための新しい方法を開発しており、トレーニングデータセットの拡大に依存せずに能力を向上させる手段を提供する可能性があります。

とはいえ、GPT-5はまだ完全なモデルの胚であり、重要な開発作業が残っています。OpenAIのCEOであるSam Altmanは、今年または来年には展開の準備が整わないと示唆しています。この長期的なタイムラインは、研究者が現在の制限に対処し、新しいモデル改善方法を発見するのに有利であり、最終的なリリース前にGPT-5を大幅に改善する可能性があります。

ジョシュ・クウィトナーとセバスチャン・シンクレアによって編集されました