Pengembang teknologi sedang memindahkan kecerdasan buatan dari pusat data awan yang jauh ke perangkat pribadi seperti ponsel dan laptop untuk mencapai pemrosesan lebih cepat, privasi lebih baik, dan biaya lebih rendah. AI di perangkat ini memungkinkan tugas yang memerlukan respons cepat dan menjaga data sensitif tetap lokal. Para ahli memprediksi kemajuan signifikan dalam beberapa tahun mendatang seiring perbaikan perangkat keras dan model.
Ketergantungan pada AI berbasis awan, seperti Claude milik Anthropic, melibatkan pengiriman perintah ke pusat data jauh, yang dapat menyebabkan penundaan beberapa detik—tidak dapat diterima untuk tugas mendesak seperti memperingatkan pengguna tentang rintangan di jalur mereka. Privasi menjadi kekhawatiran lain, karena informasi sensitif seperti data kesehatan atau keuangan melewati banyak sistem yang tidak tepercaya. Untuk mengatasi masalah ini, perusahaan semakin memproses AI di perangkat itu sendiri, menghilangkan kebutuhan koneksi internet dan mengurangi biaya dengan menghindari pembayaran ke operator pusat data.
Perpindahan ini telah berlangsung selama bertahun-tahun. Sejak 2017, iPhone menggunakan AI di perangkat untuk pengenalan wajah melalui mesin saraf. Implementasi modern, seperti Apple Intelligence dari Apple dengan sekitar 3 miliar parameter, menangani tugas spesifik seperti merangkum pesan atau pengenalan visual dari tangkapan layar. Ponsel Pixel Google menggunakan model Gemini Nano pada chip Tensor G5 untuk memberi daya pada fitur seperti Magic Cue, yang menarik informasi relevan dari email dan pesan tanpa pencarian manual.
Para ahli menyoroti tantangan dan manfaat. Mahadev Satyanarayanan, profesor Carnegie Mellon, menyamakan komputasi di perangkat ideal dengan otak manusia, mencatat bahwa meskipun alam mengembangkannya selama miliaran tahun, manusia bertujuan mencapai efisiensi serupa dalam lima hingga sepuluh tahun melalui perangkat keras canggih dan model khusus. Vinesh Sukumar, kepala AI generatif di Qualcomm, menunjukkan perbedaan sistem untuk perangkat kompak seperti jam tangan pintar, yang sering memerlukan pengalihan ke awan—tetapi dengan pengaman seperti izin pengguna dan penanganan aman untuk melindungi data.
Private Cloud Compute Apple menjadi contoh langkah privasi: hanya memproses data yang dialihkan di server perusahaan, mengirim informasi minimal, dan tidak menyimpan apa pun. Bagi pengembang, AI di perangkat memangkas biaya berkelanjutan; Charlie Chapman dari app Dark Noise menggunakannya untuk mencampur suara tanpa biaya awan, memungkinkan skalabilitas tanpa risiko keuangan.
Melihat ke depan, AI di perangkat unggul dalam klasifikasi objek dalam 100 milidetik tetapi masih mengalihkan untuk deteksi, segmentasi, pengenalan aktivitas, dan pelacakan. Satyanarayanan mengantisipasi kemajuan menarik dalam lima tahun, memungkinkan fitur seperti peringatan perjalanan melalui visi komputer atau pengingat kontekstual tentang percakapan.
