アンソロピックの最新のフラッグシップAIモデル、クロード3.7ソネットは、10^26 FLOPs未満の計算能力を使用して訓練するのに「何千万ドルもかかった」ということです。
ウォートン大学の教授であるイーサン・モリックによると、月曜日のXの投稿に、アンソロピックのPRから受けた補足情報が記載されています。「アンソロピックから連絡を受け、ソネット3.7は10^26 FLOPモデルと見なされないと伝えられ、数千万ドルかかった」と書かれていますが、「将来のモデルははるかに大きくなるでしょう」とも説明しています。
記事執筆時点では、TechCrunchは確認のためにアンソロピックに問い合わせましたが、回答を受け取っていません。
もしクロード3.7ソネットが訓練するのに本当に「何千万ドルもかかった」とすれば、関連コストを考慮に入れない場合、最先端モデルをリリースするのがどれだけ相対的に安くなっているかがわかります。ソネットの前任者であるクロード3.5は、2024年秋にリリースされ、同様に数千万ドルかかったことをアンソロピックのCEOであるダリオ・アモデイが最近のエッセイで明らかにしました。
これらの合計は、2023年のトップモデルの訓練価格と比較してかなり有利です。OpenAIはGPT-4モデルを開発するのに1億ドル以上かかり、Googleはゼミニウルトラモデルを訓練するのに約2億ドルを費やしたと、スタンフォードの研究が推定しています。
ただし、アモデイは将来のAIモデルの訓練費用を数十億ドルになると予想しています。訓練費用だけでは安全性テストや基礎研究などの作業はカバーされません。また、AI産業が長期間にわたって問題に取り組む「推論」モデルを採用すると、モデルを実行する計算コストはさらに上昇する可能性があります。
