Sebuah eksploitasi bukti konsep menunjukkan bagaimana situs web dapat melewati pagar pembatas keamanan pada peramban AI dengan memberikan informasi palsu. Teknik yang disebut BioShocking ini mendorong model AI yang tersemat untuk menerima fakta yang salah, seperti 2 + 2 = 5, sehingga menciptakan realitas alternatif di mana batasan tidak lagi berlaku.
Serangan tersebut dirinci dalam penelitian yang diterbitkan minggu ini oleh Roy Paz dari perusahaan keamanan LayerX. Begitu AI memasuki kondisi yang diubah tersebut, situs dapat memerintahkannya untuk melakukan tindakan seperti menarik kode dari repositori pribadi atau mengambil kredensial dari pengelola kata sandi bawaan.
Eksploitasi ini berhasil terhadap beberapa peramban AI, termasuk ChatGPT Atlas, Comet, Fellou, Genspark, Sigma, dan plugin Chrome Claude. Teknik ini mengambil tema dari permainan video BioShock dan novel 1984 melalui perintah serta referensinya terhadap paradoks.
Paz mencatat bahwa setelah model mempelajari bahwa tindakan yang salah dapat diterima, mereka tidak lagi mengikuti aturan keamanan aslinya. Ilmuwan komputer Adam Conway tahun lalu menyampaikan kekhawatiran serupa mengenai risiko penggabungan tampilan web dan tindakan otomatis dalam satu agen AI.
Demonstrasi ini belum sepenuhnya tersembunyi karena instruksinya terlihat oleh pengguna, dan belum jelas apakah data yang diekstrak dapat dikirim dari jarak jauh. Meskipun demikian, hal ini menyoroti tantangan berkelanjutan dalam mengamankan peramban AI yang menggabungkan aktivitas penelusuran dan eksekusi tugas pada mesin lokal.
