OpenAI は、国家主導のサイバー脅威に対して断固たる措置を講じ、中国と北朝鮮の攻撃者に関連する複数のアカウントを禁止しました。 10 月 8 日に発表された脅威レポートの中で、同社は、これらのグループが自社の AI モデルを使用して監視ツールの提案を作成し、フィッシング キャンペーンを展開し、マルウェア作成を支援していることを明らかにしました。
この動きは、OpenAI が独裁政権による自社技術の兵器化を防ぐために積極的に取り組んでいる AI 冷戦における戦線の拡大を浮き彫りにしています。
攻撃者らが既存のサイバー作戦を強化しようとする一方で、OpenAI は セーフガードは悪意のあるコードへの直接リクエストをブロックすることに成功し、新しい機能は提供されていません。
国家の支援を受けた攻撃者が監視とフィッシングのために AI を悪用
レポートでは、関連エンティティによる悪用のパターンが詳しく説明されています。 権威主義的な政府。中国関連の攻撃者が ChatGPT を使用して大規模なソーシャル メディア監視システムを設計していることが捕まりました。憂慮すべき提案の 1 つは、対象となる個人の旅行を追跡するための「高リスクのウイグル関連流入警告モデル」を作成することを目的としていました。
中国に関連する他のアカウントは、オープンソースの情報収集に AI を使用し、政府の批判者を特定し、その資金源を見つけようとしました。同社の調査結果によると、この活動は、国家監視と反対派の抑圧に先進技術を利用しようとする明らかな取り組みを表しているという。
一方、北朝鮮の事業者は、より伝統的なサイバー犯罪戦術に焦点を当てていた。彼らは ChatGPT を活用して、特に Apple の macOS に焦点を当てて、フィッシング手法、資格情報の盗難、マルウェアの開発を調査しました。彼らのクエリには、悪意のあるコードのデバッグとソーシャル エンジニアリング戦略の調査が含まれていました。
悪用の「グレー ゾーン」: 目新しさよりも効率
OpenAI の調査により、AI 支援サイバー犯罪の現状に関する重要な洞察が明らかになりました。つまり、国家主体は新しい超兵器を開発していないということです。代わりに、レポートは、 脅威アクターが次のことを行っていることを強調しています。 「AI を中心に新しいワークフローを構築するのではなく、既存のワークフローに AI を組み込むことです。」
同社は、自社のモデルが他では得られない新しい戦術や攻撃能力を攻撃者に提供するという証拠を見つけられませんでした。
このアプローチは、多くの場合、OpenAI がデュアルユース活動の「グレーゾーン」と呼ぶ場所で機能します。悪意のある使用の大部分には、テキストの翻訳、コードの変更、Web サイトの作成など、一見無害なタスクのプロンプトが含まれていました。
これらのリクエストは、ユーザーのコンテキストと意図に基づいてのみ脅威となり、複雑な検出の課題を引き起こします。
たとえば、韓国語のオペレーターは、ソフトウェアのデバッグやブラウザ開発などの正規のアプリケーションに関係する可能性のあるリクエストを多数作成しました。しかし、報告書が指摘しているように、これらの活動は「脅威アクターによって再利用されると、別の意味を持つようになります」。目標は発明ではなく、既存のサイバー作戦の加速でした。
同様に、中国関連のフィッシング グループは AI を使用してさらなる効率化を追求しました。彼らが得た主な利点は「言語の流暢さ、ローカリゼーション、粘り強さ」でした。これにより、言語エラーの少ない電子メールが生成され、「より高速なグルー コード」が作成され、最初の攻撃が失敗した場合に迅速に調整できるようになりました。
最終的な目標は速度と規模でした。これらの攻撃者にとって成功とは、すぐに送信できるフィッシングメールを作成し、「日常的なコードと自動化の反復サイクルの短縮」を達成することを意味していました。新しい形式の攻撃を作成するのではなく、従来のトレードクラフトを強化することに焦点を当てていることが、OpenAI 調査の重要な発見です。
これらの作戦を通じて、OpenAI は、直接の脅威に対して自社の保護手段が一貫して堅固であることを強調しました。報告書は、そのモデルが「一貫して完全な悪意のあるリクエストを拒否した」と述べている。ロシア語を話すマルウェア開発者の場合、システムはエクスプロイトやキーロガーの直接リクエストを明確に拒否しました。
しかし、脅威アクターは適応しつつあります。このレポートでは、悪意のあるユーザーが検出を避けるために行動を変える「適応と難読化」の事例を強調しています。一部の詐欺ネットワークは、AI が生成したテキスト パターンに関するオンライン議論を認識し、出力をより人間らしく見せるために全角ダッシュを削除するようモデルに具体的に指示しました。
この動きは、AI プラットフォームの中核的な課題を示しています。 OpenAIによると。効果的な防御には、「孤立したモデルの相互作用ではなく、脅威アクターの行動パターンに焦点を当てた、情報に基づいた微妙なアプローチ」が必要です。良性のコーディング クエリとマルウェアの改良を目的としたクエリを区別することは、プラットフォーム セキュリティの新たな最前線です。
