AI企業コンソーシアムのAIIA（AI Infrastructure Alliance）が発表した最新レポートによると、2024年は大半の企業・団体がAIインフラの拡張を計画している一方で、ITリーダーにとっては、生成AIのユースケースに適切な優先順位を付けられないまま急ぎすぎているのではないか、ということが大きな懸念材料になっているという。

同調査は、グローバルな1000の組織に所属しているAI・機械学習・その他の分野の技術リーダーを対象に実施されたもので、自組織のAIコンピューティングインフラの拡張、容量や投資額の拡大に取り組んでいるとする回答が96%に上り、圧倒的多数を占めた。50%以上がLLaMAなどのLLMを使用する予定で、26%が商用AIを導入し、組み込まれているモデルを使用する予定だという。

しかし、こうした高性能インフラについては、入手可能性、コスト、アーキテクチャ設計がいずれも大きな課題となっている。

ITリーダーたちはGPUの入手のしづらさや総コストの高さといった、コンピューティング関連の制約についても十分に認識している。そのうえで、最も懸念されているのは、自組織が生成アプリケーションの導入を急ぎすぎて、重要な考慮事項を見逃しているのではないか――たとえば、間違ったユースケースを優先してはいないか――というものだ.

皮肉なことに、生成AIアプリケーションの導入に関して2番目に多かった懸念は、（実行力に欠けているにせよ、上層部が煮え切らないにせよ）動きが遅すぎるのではないかというものだ。ITリーダーたちは技術革新をしなければというプレッシャーと、間違いを犯す危険との間で板挟みになっている。

この点について、各社は現在入手可能なさまざまなAIプラットフォームに対し、ホワイトボックス型であることと、専門家によるレビューや業界ベンチマークを求めている、とレポートにはある。

自社のユースケースに照らしてさまざまなAIインフラを評価する際、ITリーダーやAIリーダーは、総所有コスト（TCO）に影響する要素（コンピューティング能力、スケジューリング機能、レイテンシ、電力効率など）についても検討している。「そうして初めて、自信を持って自組織の生成AIのTCOを正確に予測できる」のだという。

GPU不足への対応

レポートでは、AIハードウェアの利用に関して大きな変化が起こっていることも明らかになった。AI推論向けの、コスト効率の高いコンピュートハードウェアの需要が高まっていることだ。回答者の52%が、2024年はGPU不足に対処するため、GPUの代わりにAI推論に使用できる、費用対効果の高い代替品を積極的に探していると回答した。一方、AIトレーニング用に費用対効果の高い代替品を探しているという回答は27%にとどまった。

MLOpsソリューションを提供する、イスラエルのClearMLでCMO（最高マーケティング責任者）を務めるNoam Harel（ノーム・ハレル）氏によると、こうした結果から「GPUの使用率を最適化したり、GPUの代替品を入手したりできる、高性能で費用対効果の高い方法が必要であること」がわかるという。

韓国のスタートアップ、FuriosaAIでCEOを務めるJune Paik（ジュン・パイク）氏も次のように述べている。「さまざまな企業が推論コンピューティングのための新しい、費用対効果の高い選択肢を積極的に探されています」ClearMLとFuriosaAIはいずれもAIIAのメンバー企業となっている。

調査では、コンピューティング費用が膨大なものになる主な原因の１つは、GPUリソースがアイドル状態になっていることであることも分かった。回答者の78%が、ピーク時に使用しているGPUリソースは全体の50%以上と回答した一方で、85%以上を使用しているという回答はわずか7%にとどまった。既存のコンピューティングリソースの管理を改善し、代替手段を使用してインフラを拡張することが必要だということが、ここでも明らかになっている。

IT leaders concerned about speed of genAI deployments