DeepSeek menguji perhatian jarang untuk mengurangi biaya AI
Perusahaan AI China DeepSeek sedang bereksperimen dengan mekanisme perhatian jarang untuk secara signifikan menurunkan biaya pemrosesan model bahasa besar. Pendekatan ini memfokuskan komputasi pada bagian kunci data masukan, berpotensi memotong setengah kebutuhan sumber daya. Perkembangan ini dapat membuat AI canggih lebih mudah diakses di tengah kekhawatiran energi yang meningkat.
DeepSeek, startup AI China yang menonjol, mengumumkan pada September 2025 pengujian berkelanjutan mereka terhadap teknik perhatian jarang yang bertujuan untuk memangkas biaya komputasi model berbasis transformer. Mekanisme perhatian tradisional dalam sistem AI seperti model bahasa besar (LLM) memerlukan pemrosesan setiap token terhadap yang lain, menyebabkan pertumbuhan kuadratik dalam kebutuhan komputasi seiring skala model. Perhatian jarang, sebaliknya, secara selektif memperhatikan subset token yang relevan, mengurangi beban ini.
Inisiatif ini dibangun di atas penelitian dari karya-karya sebelumnya, seperti dari Google dan Meta, tetapi implementasi DeepSeek menargetkan penyebaran praktis di lingkungan dengan sumber daya terbatas. Menurut posting blog perusahaan, benchmark awal pada model DeepSeek-V2 mereka menunjukkan pengurangan 40-60% dalam biaya inferensi tanpa penurunan kinerja yang signifikan. "Dengan mengoptimalkan pola perhatian, kami tidak hanya memangkas biaya—kami memungkinkan adopsi AI yang lebih luas," kata kepala ilmuwan DeepSeek, Liang Wang, dalam pengumuman tersebut.
Dari segi waktu, DeepSeek memulai pengujian internal pada awal 2025, mengikuti rilis model V2 open-source mereka pada Mei. Modul perhatian jarang terintegrasi dengan arsitektur yang ada, memungkinkan retrofit ke model hingga 236 miliar parameter. Secara kontekstual, ini datang di tengah pengawasan global terhadap jejak lingkungan AI; melatih satu model besar tunggal dapat mengonsumsi energi setara dengan ratusan rumah tangga secara tahunan.
Para ahli mencatat implikasi potensial untuk komputasi tepi dan AI seluler. Namun, tantangan tetap ada, termasuk memastikan kelangkaan tidak mengorbankan pemahaman konteks panjang. DeepSeek berencana merilis teknik ini sebagai open-source pada akhir tahun, mengundang umpan balik komunitas.
Tidak ada kontradiksi utama yang muncul dalam pelaporan, karena detail selaras di seluruh pratinjau teknis.