DeepSeek、AIコスト削減のためスパースアテンションをテスト
中国のAI企業DeepSeekは、大規模言語モデルの処理コストを大幅に低減するためのスパースアテンション機構を試用中です。このアプローチは入力データの重要な部分に計算を集中させ、リソース需要を半分に抑える可能性があります。この進展は、エネルギー懸念の高まりの中で先進的なAIをよりアクセスしやすくする可能性があります。
中国の著名なAIスタートアップであるDeepSeekは、2025年9月に、トランスフォーマーベースのモデルの計算コストを削減することを目的としたスパースアテンション技術の継続的なテストを発表しました。大型言語モデル（LLM）などのAIシステムにおける従来のアテンション機構は、すべてのトークンを互いに処理する必要があり、モデルがスケールするにつれて計算ニーズが二次関数的に増加します。一方、スパースアテンションは関連するトークンのサブセットに選択的に注目し、この負担を軽減します。
この取り組みは、GoogleやMetaの以前の研究に基づいていますが、DeepSeekの実装はリソース制約のある環境での実用的展開を対象としています。同社のブログ投稿によると、DeepSeek-V2モデルでの初期ベンチマークでは、性能の顕著な低下なしに推論コストを40-60%削減しました。「アテンションパターンを最適化することで、コスト削減だけでなく、より広範なAI採用を可能にしています」と、DeepSeekの主任科学者であるLiang Wang氏が発表で述べました。
タイムラインでは、DeepSeekは2025年5月にオープンソースのV2モデルをリリースした後、2025年初頭に内部テストを開始しました。スパースアテンション・モジュールは既存のアーキテクチャと統合可能で、最大2360億パラメータのモデルへの後付けを可能にします。文脈的には、AIの環境フットプリントに対するグローバルな精査の中で起こっており、単一の大型モデルのトレーニングは年間数百世帯分のエネルギーを消費する可能性があります。
専門家は、エッジコンピューティングやモバイルAIへの潜在的な影響を指摘しています。しかし、課題も残っており、スパース性が長文脈理解を損なわないようにすることが含まれます。DeepSeekは年内にはこの技術をオープンソースとしてリリースし、コミュニティからのフィードバックを求めます。
報道に大きな矛盾は見られず、技術プレビュー間で詳細が一致しています。