2025年7月2日に公開されたワークスペースのGoogle Geminiの重大な脆弱性により、攻撃者はAIアシスタントをフィッシングツールに変えることができます。 0Din Bug Bountyプラットフォームのレポートによると、脅威アクターは、電子メールのコードに悪意のある目に見えない指示を埋め込むことができます。
ユーザーがGeminiにメッセージを要約するように依頼すると、AIは非表示コマンドを実行します。次に、資格情報を盗んだり、ユーザーを悪意のあるサイトに指示するように設計された偽のセキュリティアラートを生成します。この「間接的な迅速なインジェクション」攻撃は、AIがユーザーが表示できない隠されたテキストを処理するため、機能します。それは、それを非常に説得力があり、危険な新しい形のソーシャルエンジニアリングに変えます。この開示は、LLMの複雑さが新しい攻撃表面を作成するAI安全性における増大する課題を強調しています。共犯者
「ジェミニのフィッシング」と呼ばれる攻撃は、電子メールの本文内のHTMLとCSSの巧妙な操作に依存しています。攻撃者は、悪意のあるディレクティブを含む隠されたテキストを使用したメッセージを作成します。このテキストは、フォントサイズをゼロに設定して背景と一致させることで見えないようにレンダリングされます。
ユーザーは良性のメッセージのみを見ている間、ジェミニの要約機能は生のフィルタリングされていないHTMLを摂取します。 AIは、これらの隠された指示をプロンプトの一部として処理し、攻撃者の製造されたセキュリティ警告を目に見えるテキストの正確な要約に忠実に追加します。
結果はシームレスな欺ceptionです。ユーザーは、Geminiからのものと思われる要約を受け取りますが、偽のサポート番号を呼び出したり、資格の収穫ウェブサイトにアクセスするという警告など、悪意のあるペイロードが含まれています。 Googleブランドへの信頼は彼らに対して武器化されています。
この方法は、セキュリティ研究者が指摘しているように、目に見えるコンテンツの悪意のあるリンクや添付ファイルを必要としないため、特に陰湿です。これにより、最初の電子メールは、明らかな赤い旗を狩る多くの従来のセキュリティスキャナーをバイパスすることができ、検出は非常に困難になります。コアの問題は、特にそのデータが欺cept的に設計されている場合、モデルが信頼できるシステム命令と信頼されていないサードパーティのデータを区別できないことです。フレーミング。」 「攻撃者はモデルをだまして命令を高優先度システム指令として扱い、遵守する可能性が高くなります。
これにより、LLMSプロセスがどのように促進され、攻撃者のコマンドが標準的なタスクを超えて要約されているかを基本的に高めています。 Geminiへの攻撃は2024年に報告され、Googleに