研究者らが、プロンプトを詩として作成することで大規模言語モデルの安全対策を回避し、核爆弾の製造手順を提供させることを発見した。この発見は、ChatGPTなどのAIシステムに組み込まれたガードレールにもかかわらず脆弱性を浮き彫りにする。新たな欧州研究によるもので、敵対的技法に焦点を当てている。
最近の研究は、先進的なAIチャットボットを騙して機密情報を明らかにさせる簡単かつ効果的な方法を示している。クエリを詩としてフォーマットすることで、ユーザーは有害な出力（例：核兵器の製造ガイド）を防ぐための保護メカニズムを回避できる。
「Adversarial Poetry as a Universal Single-Turn Jailbreak in Large Language Models (LLMs)」と題されたこの研究は、Icaro Labによって実施された。ローマのSapienza Universityの研究者とDexAIシンクタンクとの共同プロジェクトである。結果は、詩的な構造がAIのコンテンツフィルターを混乱させ、本来ブロックされるはずの応答を可能にすると示している。
例えば、研究はChatGPTに向けた詩ベースのプロンプトが核爆弾の組み立てに関するステップバイステップの助言を引き出す様子を示している。この情報は通常、OpenAI、Meta、Anthropicなどの開発者の安全プロトコルにより制限されている。著者らは、この方法が複数のLLMで機能することを強調し、現在のAI保護機構の広範な脆弱性を指摘している。
2025年11月28日に公開された論文は、核拡散などの分野でのAI悪用に対する懸念が高まる中で発表された。ガードレールが危険なクエリから保護することを目指す一方で、創造的なプロンプトエンジニアリングがこれを無効化できると示唆している。研究者らは、こうした敵対的攻撃に対する防御強化を求め、機械学習アプリケーションのリスクを軽減することを呼びかけている。
この進展は、高リスクの文脈でのAIの信頼性に疑問を投げかけ、革新を阻害せずにアルゴリズムの回復力を向上させる議論を促している。