DeepSeek teste l'attention éparse pour réduire les coûts de l'IA
L'entreprise chinoise d'IA DeepSeek expérimente des mécanismes d'attention éparse pour réduire significativement les coûts de traitement des modèles de langage de grande taille. Cette approche concentre les calculs sur les parties clés des données d'entrée, potentiellement en divisant par deux les besoins en ressources. Ce développement pourrait rendre l'IA avancée plus accessible au milieu des préoccupations croissantes liées à l'énergie.
DeepSeek, une startup chinoise de premier plan en IA, a annoncé en septembre 2025 ses tests en cours de techniques d'attention éparse visant à réduire les coûts computationnels des modèles basés sur les transformateurs. Les mécanismes d'attention traditionnels dans les systèmes d'IA comme les modèles de langage de grande taille (LLM) nécessitent de traiter chaque jeton contre tous les autres, entraînant une croissance quadratique des besoins en calcul à mesure que les modèles s'élargissent. L'attention éparse, en revanche, se concentre sélectivement sur un sous-ensemble de jetons pertinents, réduisant cette charge.
L'initiative s'appuie sur des recherches de travaux antérieurs, tels que ceux de Google et Meta, mais l'implémentation de DeepSeek vise un déploiement pratique dans des environnements à ressources limitées. Selon le billet de blog de l'entreprise, les benchmarks initiaux sur leur modèle DeepSeek-V2 ont montré une réduction de 40-60 % des coûts d'inférence sans baisses notables de performance. « En optimisant les motifs d'attention, nous ne faisons pas seulement baisser les coûts – nous favorisons une adoption plus large de l'IA », a déclaré le scientifique en chef de DeepSeek, Liang Wang, dans l'annonce.
En termes de calendrier, DeepSeek a commencé les tests internes début 2025, après la sortie de leur modèle V2 open-source en mai. Le module d'attention éparse s'intègre aux architectures existantes, permettant une adaptation aux modèles jusqu'à 236 milliards de paramètres. Dans le contexte, cela survient au milieu d'un examen mondial de l'empreinte environnementale de l'IA ; l'entraînement d'un seul grand modèle peut consommer une énergie équivalente à celle de centaines de foyers annuellement.
Les experts notent des implications potentielles pour l'informatique en périphérie et l'IA mobile. Cependant, des défis persistent, y compris s'assurer que l'éparsité ne compromet pas la compréhension des contextes longs. DeepSeek prévoit de publier la technique en open-source d'ici la fin de l'année, invitant les retours de la communauté.
Aucune contradiction majeure n'apparaît dans les reportages, les détails s'alignant sur les aperçus techniques.