Teknikutvecklare flyttar artificiell intelligens från avlägsna molndatacenter till personliga enheter som telefoner och bärbara datorer för att uppnå snabbare bearbetning, bättre integritet och lägre kostnader. Denna enhetsbaserade AI möjliggör uppgifter som kräver snabba svar och håller känslig data lokal. Experter förutspår betydande framsteg de kommande åren i takt med att hårdvara och modeller förbättras.
Beroendet av molnbaserad AI, som Anthropics Claude, innebär att skickas prompts till fjärrdatacenter, vilket kan orsaka förseningar på sekunder – oacceptabelt för brådskande uppgifter som att varna en användare för ett hinder på vägen. Integritet är en annan oro, eftersom känslig information som hälsodata eller finansiell data passerar genom flera inte pålitliga system. För att hantera dessa problem bearbetar företag alltmer AI på enheterna själva, vilket eliminerar behovet av internetanslutning och minskar kostnader genom att undvika betalningar till datacenteroperatörer.
Denna förskjutning har pågått i åratal. Redan 2017 använde iPhones enhetsbaserad AI för ansiktsigenkänning via en neural motor. Moderna implementationer, som Apples Apple Intelligence med cirka 3 miljarder parametrar, hanterar specifika uppgifter som att sammanfatta meddelanden eller visuell igenkänning från skärmdumpar. Googles Pixel-telefoner använder Gemini Nano-modellen på Tensor G5-chippet för att driva funktioner som Magic Cue, som hämtar relevant information från e-post och meddelanden utan manuell sökning.
Experter belyser utmaningarna och fördelarna. Mahadev Satyanarayanan, professor vid Carnegie Mellon, liknar idealisk enhetsberäkning vid hjärnan, och noterar att medan naturen utvecklade den över en miljard år strävar människor efter liknande effektivitet på fem till tio år genom avancerad hårdvara och specialiserade modeller. Vinesh Sukumar, chef för generativ AI på Qualcomm, pekar på systemskillnader för kompakta enheter som smartklockor, som ofta kräver offloading till molnet – men med skyddsåtgärder som användartillstånd och säker hantering för att skydda data.
Apples Private Cloud Compute exemplifierar integritetsåtgärder: det bearbetar offloaded data endast på företagets servrar, skickar minimal information och lagrar ingen. För utvecklare minskar enhets-AI löpande kostnader; Charlie Chapman från appen Dark Noise använder det för att blanda ljud utan molnavgifter, vilket möjliggör skalbarhet utan finansiell risk.
Framåt utmärker sig enhets-AI i objektklassificering inom 100 millisekunder men offloadar fortfarande för detektion, segmentering, aktivitetsigenkänning och spårning. Satyanarayanan förväntar sig spännande framsteg inom fem år, som möjliggör funktioner som reselarm via datorseende eller kontextuella påminnelser om samtal.
