出典: ザ・ペーパーシャオ・ウェン記者アルトマン氏はAIの将来に対する規制を求めているが、現在のモデルが危険であるとは考えておらず、それを規制したり禁止したりするのは大きな間違いであると考えている。·OpenAI の内部データは、モデルのパフォーマンスのスケーリング則 (スケーリング則) が依然として有効であり、モデルを大きくしてもパフォーマンスが引き続き得られることを示しています。 *画像の出典: Unbounded AI ツールによって生成*先週、OpenAIのCEOであるサム・アルトマン氏やAI開発プラットフォームのヒューマンループCEOであるラザ・ハビブ氏を含む20人以上の開発者が非公開の会議を開催し、OpenAIのAPI（アプリケーションプログラミングインターフェース）や製品計画について話し合った。数日後、ラザ・ハビビ氏は会議のハイライトの詳細な要約を発表した。ディスカッションの中で、アルトマン氏は、OpenAI が現在 GPU (グラフィックス プロセッシング ユニット) によって制限されていることを率直に認め、OpenAI の現在の最優先事項である GPT-3 のオープンソース計画と、人工知能の社会的影響について語りました。アルトマン氏はAIの将来に対する規制を求めているが、現在のモデルが危険だとは考えていない。アルトマン氏はまた、OpenAIの内部データは、モデルのパフォーマンスが規模に比例するという法則が今でも成り立つこと、つまりモデルが大きくなるほどパフォーマンスが向上することを示していると述べた。 OpenAI は今後もモデルの大型化を目指しますが、おそらく毎年 2 倍か 3 倍にとどまり、桁違いに大きくなるわけではありません。## **現在、GPU によって大幅に制限されています**ディスカッション全体を通して繰り返されたテーマは、OpenAI が現在 GPU に大きく依存しているため、短期計画の多くが遅れているということでした。API の信頼性と速度に関するユーザーからの苦情が最も多かったのは OpenAI でした。 Altman 氏は彼らの懸念を理解し、問題の多くは GPU リソースの不足によって引き起こされていると説明しました。ChatGPT で以前サポートされていた 32,000 トークンのコンテキスト機能は、より多くの人に拡張することはできず、OpenAI にはまだ解決すべき問題がいくつかあるため、間もなく 100,000 ～ 100 万トークンのコンテキスト ウィンドウが実現される可能性がありますが、研究のブレークスルーでそれらを取得する必要があります。微調整 API も現在、GPU リソースによって制限されています。アダプターや LoRa (大規模モデル向けの 2 つの一般的な微調整方法) のような効率的な微調整方法がまだ使用されていないため、操作と管理の微調整には非常に多くの計算リソースが消費されます。将来的には、より良い微調整方法が登場するでしょう。コミュニティ提供モデルのマーケットプレイスを主催することもあります。専用容量のプロビジョニングも GPU リソースによって制限されます。 OpenAI は、プライベートなニーズを持つ顧客に専用の容量を提供し、顧客がプライベート データを専用スペースで実行できるようにします。このサービスにアクセスするには、顧客は 100,000 ドルの前払いを約束する必要があります。## **OpenAI ロードマップ**Sam 氏は、OpenAI の API に関する暫定的な短期ロードマップを共有しました。2023 年には、最初のタスクは、より安価で高速な GPT-4 を実現することです。2 番目は、より長いコンテキスト ウィンドウ - 近い将来、コンテキスト ウィンドウは最大 100 万トークンに達する可能性があります。3 番目は、微調整 API が拡張されます。最新モデルですが、具体的な形式は開発者の実際のニーズによって決定されます; 4 つ目は、ステートフル API - 現在、チャット API を呼び出す場合、同じ会話履歴を繰り返し渡し、同じトークンを繰り返し支払う必要があります。 , 会話履歴を記憶する API バージョンが登場します。2024 年にはマルチモーダル機能が開放される予定です。 GPT-4 がリリースされたとき、強力なマルチモーダル機能が実証されましたが、GPU が満足するまで、この機能をすべての人に拡張することはできません。多くの開発者は API を通じて ChatGPT プラグインにアクセスすることに興味を持っていますが、Altman 氏はこれらのプラグインが短期間にリリースされるとは考えていません。ブラウジングに加えて、プラグイン システムはまだ PMF (Product Market Fit、製品と市場の最適な適合) を見つけていません。Altman 氏は、多くの人が自分のアプリを ChatGPT 内に置きたいと考えているが、実際に望んでいるのはアプリ内の ChatGPT であると指摘しました。アルトマン氏は、OpenAIがChatGPT以上の製品をリリースすることはないと述べた。同氏は、慣習的に優れたプラットフォームにはキラーアプリが存在するものであり、ChatGPTはこの記録破りのアプリを作るだろうと語った。 ChatGPT のビジョンは、仕事用のスーパースマート アシスタントになることですが、OpenAI が触れない GPT のユースケースは他にもたくさんあります。## **スケーリングの法則は引き続き適用されます**アルトマン氏はAIの将来に対する規制を求めているが、現在のモデルが危険であるとは考えておらず、それを規制したり禁止したりするのは大きな間違いであると考えている。同氏はオープンソースの重要性に対する信念を改めて表明し、OpenAIはGPT-3をオープンソースにすることを検討していると述べた。これがオープンソース化されていない理由は、これほど大規模な言語モデルを適切に管理できる能力を持っている人や企業が多くないと感じているためです。最近の多くの記事では、「巨大な AI モデルの時代は終わった」というアルトマンの発言が引用されていますが、これは彼の本来の意味を正確に反映していません。同氏は、OpenAIの内部データは、モデルのパフォーマンスに関するスケーリングの法則（スケーリング則）が依然として有効であり、モデルを大きくしてもパフォーマンスが継続的に得られることを示していると述べた。 OpenAI はわずか数年でモデルを何百万倍もスケールアップしており、今後もそれを続けることは持続可能ではないため、スケーリング速度は確かに持続不可能です。それは、OpenAI がモデルを大きくしようと努力し続けないという意味ではなく、モデルがおそらく毎年 2 倍か 3 倍になるだけで、何桁も大きくならないということを意味します。アルトマン氏は、スケーリングの法則が引き続き維持されているという事実は、AGI（汎用人工知能）の開発スケジュールに重要な意味を持っていると述べた。スケーリングの法則は、AGI の構築に必要な部品のほとんどがおそらくすでに揃っており、残された作業のほとんどは既存の手法をより大きなモデルとより大きなデータセットにスケールアップすることであると想定しています。スケーリングの法則の時代が終わったとしても、AGI が登場するのはまだ遠い先のことになると予想すべきでしょう。スケーリングの法則が引き続き機能しているという事実は、AGI を達成するためのスケジュールが短いことを強く示唆しています。
アルトマン氏の最新の暴露: GPU が緊急に不足しており、来年には GPT-3 をオープンソースにし、マルチモダリティをオープンする予定です
出典: ザ・ペーパー
シャオ・ウェン記者
アルトマン氏はAIの将来に対する規制を求めているが、現在のモデルが危険であるとは考えておらず、それを規制したり禁止したりするのは大きな間違いであると考えている。
·OpenAI の内部データは、モデルのパフォーマンスのスケーリング則 (スケーリング則) が依然として有効であり、モデルを大きくしてもパフォーマンスが引き続き得られることを示しています。
先週、OpenAIのCEOであるサム・アルトマン氏やAI開発プラットフォームのヒューマンループCEOであるラザ・ハビブ氏を含む20人以上の開発者が非公開の会議を開催し、OpenAIのAPI（アプリケーションプログラミングインターフェース）や製品計画について話し合った。数日後、ラザ・ハビビ氏は会議のハイライトの詳細な要約を発表した。
ディスカッションの中で、アルトマン氏は、OpenAI が現在 GPU (グラフィックス プロセッシング ユニット) によって制限されていることを率直に認め、OpenAI の現在の最優先事項である GPT-3 のオープンソース計画と、人工知能の社会的影響について語りました。アルトマン氏はAIの将来に対する規制を求めているが、現在のモデルが危険だとは考えていない。
アルトマン氏はまた、OpenAIの内部データは、モデルのパフォーマンスが規模に比例するという法則が今でも成り立つこと、つまりモデルが大きくなるほどパフォーマンスが向上することを示していると述べた。 OpenAI は今後もモデルの大型化を目指しますが、おそらく毎年 2 倍か 3 倍にとどまり、桁違いに大きくなるわけではありません。
現在、GPU によって大幅に制限されています
ディスカッション全体を通して繰り返されたテーマは、OpenAI が現在 GPU に大きく依存しているため、短期計画の多くが遅れているということでした。
API の信頼性と速度に関するユーザーからの苦情が最も多かったのは OpenAI でした。 Altman 氏は彼らの懸念を理解し、問題の多くは GPU リソースの不足によって引き起こされていると説明しました。
ChatGPT で以前サポートされていた 32,000 トークンのコンテキスト機能は、より多くの人に拡張することはできず、OpenAI にはまだ解決すべき問題がいくつかあるため、間もなく 100,000 ～ 100 万トークンのコンテキスト ウィンドウが実現される可能性がありますが、研究のブレークスルーでそれらを取得する必要があります。
微調整 API も現在、GPU リソースによって制限されています。アダプターや LoRa (大規模モデル向けの 2 つの一般的な微調整方法) のような効率的な微調整方法がまだ使用されていないため、操作と管理の微調整には非常に多くの計算リソースが消費されます。将来的には、より良い微調整方法が登場するでしょう。コミュニティ提供モデルのマーケットプレイスを主催することもあります。
専用容量のプロビジョニングも GPU リソースによって制限されます。 OpenAI は、プライベートなニーズを持つ顧客に専用の容量を提供し、顧客がプライベート データを専用スペースで実行できるようにします。このサービスにアクセスするには、顧客は 100,000 ドルの前払いを約束する必要があります。
OpenAI ロードマップ
Sam 氏は、OpenAI の API に関する暫定的な短期ロードマップを共有しました。
2023 年には、最初のタスクは、より安価で高速な GPT-4 を実現することです。2 番目は、より長いコンテキスト ウィンドウ - 近い将来、コンテキスト ウィンドウは最大 100 万トークンに達する可能性があります。3 番目は、微調整 API が拡張されます。最新モデルですが、具体的な形式は開発者の実際のニーズによって決定されます; 4 つ目は、ステートフル API - 現在、チャット API を呼び出す場合、同じ会話履歴を繰り返し渡し、同じトークンを繰り返し支払う必要があります。 , 会話履歴を記憶する API バージョンが登場します。
2024 年にはマルチモーダル機能が開放される予定です。 GPT-4 がリリースされたとき、強力なマルチモーダル機能が実証されましたが、GPU が満足するまで、この機能をすべての人に拡張することはできません。
多くの開発者は API を通じて ChatGPT プラグインにアクセスすることに興味を持っていますが、Altman 氏はこれらのプラグインが短期間にリリースされるとは考えていません。ブラウジングに加えて、プラグイン システムはまだ PMF (Product Market Fit、製品と市場の最適な適合) を見つけていません。
Altman 氏は、多くの人が自分のアプリを ChatGPT 内に置きたいと考えているが、実際に望んでいるのはアプリ内の ChatGPT であると指摘しました。
アルトマン氏は、OpenAIがChatGPT以上の製品をリリースすることはないと述べた。
同氏は、慣習的に優れたプラットフォームにはキラーアプリが存在するものであり、ChatGPTはこの記録破りのアプリを作るだろうと語った。 ChatGPT のビジョンは、仕事用のスーパースマート アシスタントになることですが、OpenAI が触れない GPT のユースケースは他にもたくさんあります。
スケーリングの法則は引き続き適用されます
アルトマン氏はAIの将来に対する規制を求めているが、現在のモデルが危険であるとは考えておらず、それを規制したり禁止したりするのは大きな間違いであると考えている。
同氏はオープンソースの重要性に対する信念を改めて表明し、OpenAIはGPT-3をオープンソースにすることを検討していると述べた。これがオープンソース化されていない理由は、これほど大規模な言語モデルを適切に管理できる能力を持っている人や企業が多くないと感じているためです。
最近の多くの記事では、「巨大な AI モデルの時代は終わった」というアルトマンの発言が引用されていますが、これは彼の本来の意味を正確に反映していません。同氏は、OpenAIの内部データは、モデルのパフォーマンスに関するスケーリングの法則（スケーリング則）が依然として有効であり、モデルを大きくしてもパフォーマンスが継続的に得られることを示していると述べた。 OpenAI はわずか数年でモデルを何百万倍もスケールアップしており、今後もそれを続けることは持続可能ではないため、スケーリング速度は確かに持続不可能です。それは、OpenAI がモデルを大きくしようと努力し続けないという意味ではなく、モデルがおそらく毎年 2 倍か 3 倍になるだけで、何桁も大きくならないということを意味します。
アルトマン氏は、スケーリングの法則が引き続き維持されているという事実は、AGI（汎用人工知能）の開発スケジュールに重要な意味を持っていると述べた。スケーリングの法則は、AGI の構築に必要な部品のほとんどがおそらくすでに揃っており、残された作業のほとんどは既存の手法をより大きなモデルとより大きなデータセットにスケールアップすることであると想定しています。スケーリングの法則の時代が終わったとしても、AGI が登場するのはまだ遠い先のことになると予想すべきでしょう。スケーリングの法則が引き続き機能しているという事実は、AGI を達成するためのスケジュールが短いことを強く示唆しています。