DeepSeek testar gles uppmärksamhet för att minska AI-kostnader
Det kinesiska AI-företaget DeepSeek experimenterar med glesa uppmärksamhetsmekanismer för att avsevärt sänka bearbetningskostnaderna för stora språkmodeller. Metoden fokuserar beräkningar på nyckeldelar av indata, vilket potentiellt halverar resursbehoven. Denna utveckling kan göra avancerad AI mer tillgänglig mitt i ökande energibekymmer.
DeepSeek, ett framstående kinesiskt AI-startup, meddelade i september 2025 sina pågående tester av glesa uppmärksamhetstekniker som syftar till att skära ner de beräkningsmässiga kostnaderna för transformerbaserade modeller. Traditionella uppmärksamhetsmekanismer i AI-system som stora språkmodeller (LLM) kräver bearbetning av varje token mot alla andra, vilket leder till kvadratisk tillväxt i beräkningsbehov när modellerna skalar. Gles uppmärksamhet, däremot, fokuserar selektivt på en delmängd av relevanta tokens, vilket minskar denna börda.
Initiativet bygger på forskning från tidigare arbeten, såsom de från Google och Meta, men DeepSeeks implementering riktar sig mot praktisk utrullning i resursbegränsade miljöer. Enligt företagets blogginlägg visade initiala benchmarks på deras DeepSeek-V2-modell en 40-60% minskning av inferenskostnader utan märkbara prestandaförluster. "Genom att optimera uppmärksamhetsmönster skär vi inte bara kostnader – vi möjliggör bredare AI-användning," uttalade DeepSeeks chefsforskare Liang Wang i meddelandet.
Ur tidsaspekt inledde DeepSeek interna tester i början av 2025, efter lanseringen av deras open source V2-modell i maj. Den glesa uppmärksamhetsmodulen integreras med befintliga arkitekturer, vilket tillåter eftermontering på modeller upp till 236 miljarder parametrar. I ett bredare sammanhang kommer detta mitt i global granskning av AI:s miljöpåverkan; träning av en enda stor modell kan förbruka energi motsvarande hundratals hushåll årligen.
Experter noterar potentiella implikationer för edge computing och mobil AI. Utmaningar kvarstår dock, inklusive att säkerställa att glesheten inte äventyrar förståelse av långa kontexter. DeepSeek planerar att släppa tekniken som open source innan årets slut och inbjuder till community-feedback.
Inga större motsägelser framträder i rapporteringen, då detaljerna stämmer överens i tekniska förhandsvisningar.