テック開発者は、AIを遠くのクラウドデータセンターからスマートフォンやラップトップなどの個人デバイスに移行させ、処理速度の向上、プライバシーの強化、コスト削減を実現しています。このオンデバイスAIは迅速な応答を必要とするタスクを可能にし、機密データをローカルに保持します。専門家は、ハードウェアとモデルの改善に伴い、今後数年間で大きな進歩を予測しています。
AnthropicのClaudeのようなクラウドベースのAIへの依存は、プロンプトを遠隔データセンターに送信することを伴い、数秒の遅延が発生する可能性があり、パス上の障害物をユーザーに警告するような緊急タスクには受け入れがたいものです。プライバシーは別の懸念事項で、健康や財務データなどの機密情報が複数の信頼できないシステムを通過します。これらの問題に対処するため、企業はデバイス上でAIを処理するようになっており、インターネット接続の必要性を排除し、データセンタオペレーターへの支払いを避けることでコストを削減しています。
この移行は数年前から進行中です。2017年早々に、iPhoneはニューラルエンジンによる顔認識でオンデバイスAIを使用していました。現代の例として、AppleのApple Intelligenceは約30億のパラメータを持ち、メッセージの要約やスクリーンショットからの視覚認識などの特定タスクを処理します。GoogleのPixel電話はTensor G5チップ上のGemini Nanoモデルを使用してMagic Cueなどの機能を駆動し、メールやメッセージから手動検索なしで関連情報を抽出します。
専門家は課題と利点を強調します。カーネギーメロン大学のMahadev Satyanarayanan教授は、理想的なオンデバイスコンピューティングを人間の脳に例え、自然が10億年かけて進化させたものを、人間は先進ハードウェアと専用モデルで5〜10年で同等の効率を目指すと述べています。Qualcommの生成AI責任者Vinesh Sukumar氏は、スマートウォッチのような小型デバイスではシステムの違いがあり、しばしばクラウドへのオフロードが必要だが、ユーザー許可やセキュアな取り扱いなどの保護策を講じると指摘します。
AppleのPrivate Cloud Computeはプライバシー対策の好例で、オフロードデータを自社サーバーのみで処理し、最小限の情報を送信し、何も保存しません。開発者にとって、オンデバイスAIは継続コストを削減します。Dark NoiseアプリのCharlie Chapman氏はクラウド料金なしで音をミックスでき、財務リスクなしにスケーラビリティを実現しています。
今後、オンデバイスAIは100ミリ秒以内の物体分類で優位ですが、検出、セグメンテーション、活動認識、追跡はまだオフロードします。Satyanarayanan氏は5年以内にコンピュータビジョンによる旅行アラートや会話の文脈的リマインダーなどのエキサイティングな進展を期待しています。
