米国食品医薬品局の新しいAIアシスタント「Elsa」は、6月に薬物承認に革命を起こすために開始され、代わりに存在しない研究を製造し、人間のレビュアーのためにより多くの仕事を作成しています。 7月23日のCNNレポートによると、このツールは重要なタスクに対して信頼できません。これは、ハイテク業界全体に響き渡る問題であるハイステークス政府の役割で証明されていないテクノロジーを展開するという深刻なリスクを強調しています。
AIはファンファーレで発表されました。 HHS秘書のロバート・F・ケネディ・ジュニアは、「AI革命が到来した」と宣言した。しかし、舞台裏で、FDAの従業員はCNNに、ELSAは研究を不正確に伝え、その目的を損なう必要があると語っています。幻覚に悩まされた革命
FDAコミッショナーマーティマカリー博士は内部の懸念を軽視し、記者団に次のように語った。ただし、この位置は、効率を高め、批判的レビューを加速するために導入されたツールの信頼性の中心的な問題を回避します。代理店の内部からのビューは、はるかに驚くべきものです。ある従業員は、このツールを再確認できないタスクに対して信頼できないと説明し、「自信を持って幻覚を起こす」と述べた。別の人は新しい負担を嘆き、「私が持っていなければならない警戒の高まりのために、私は多くの余分な時間を無駄にします」と言った。スタッフは、機密業界の提出など、多くの関連文書にアクセスできないため、医薬品の安全性と有効性データをレビューするコア科学的作業には役に立たないと述べました。基本的な質問でテストされたとき、それは間違った答えを返しました。
エージェンシー自身のAIの長であるジェレミー・ウォルシュは、技術的な現実を認め、「エルザは多くの大規模な言語モデルや生成的AIと違いはありません。 AIが自信を持っているが完全に誤った情報を生成するこの現象は、現在の世代のモデルを悩ませる中心的な欠陥です。
問題はFDAのカスタムツールに固有のものではありません。最も先進的な商業モデルでさえ、それに苦しんでいます。たとえば、Openaiは、新しいO3およびO4-MINIモデルが前任者よりもいくつかのベンチマークでより高いレートで情報を逆説的に製造することを独自の安全データで明らかにしました。これは、モデルがそれ自身の以前の推論にアクセスできない場合に悪化し、そのプロセスについて質問されたときに精巧な言い訳を作成することを強制します。
この現実は、専門家がテクノロジーが早産されていることを警告するように導きました。スタンフォード大学の教授であるジョナサン・チェン博士は、状況を率直に述べ、「今は本当にワイルドウェストのようなものです。テクノロジーは非常に速く動きます。
彼の評価は、政府におけるAIの約束と栄養系の現実の現実を使用しているという存在の現実の間の湾の広大な湾を強調しています。
業界全体でのハイステークスの失敗のパターン
FDAのトラブルは孤立した事件ではありません。 2025年5月、AI企業人類の法務チームは、Claude AIが著作権訴訟の法的引用を発明した後、謝罪しなければなりませんでした。この事件の裁判官は、「見逃した引用とAIによって生成された幻覚との違いの世界」に注目した。
ちょうど1か月前、AIコードエディターカーソルのユーザーは、偽の会社のポリシーを作成し、共同設立者からの公開謝罪を必要とするユーザーのバックラッシュを引き起こすサポートボットで満たされた。 GmailのAIのバグは、ドイツの電子メールを誤って翻訳しており、重要なコンテンツの操作を引き起こしています。ソースラボの1人のアナリストがカーソル事件の後に指摘したように、「ユーザーに「この応答がAIによって生成された」はユーザーロイヤルティを回復するための不十分な尺度である可能性が高いことをユーザーに知らせる」
この感情は、単純な免責事項と透明測定がゆっくりと学習していることを示唆しています。現実
この一連の注目を集める衝撃は、より広範な業界の再調整を強制されています。コールセンターAIの研究では、それがしばしば人間のエージェントのためにより多くの作業が生まれることがわかりました。アナリストの会社Gartnerは、キー予測も覆しました。ターゲット=”_ blank”>組織の半分を予測すると、人間のサポートスタッフをAI に置き換える計画を放棄します。この実用的な変化は、テクノロジーの現在の制限を認め、AIエラーのコストが自動化の利点を上回る可能性があるという理解の高まりを反映しています。この迅速で未チェックのイノベーションへの推進は、テクノロジーの信頼性の現実と衝突します。
「官僚的な赤テープ」を剥奪し、AIリスク管理に関する以前の命令を撤回することに焦点を当て、ELSAのようなツールの展開を加速させる可能性があります。臨床環境でAIを研究しているスタンフォード大学の教授であるジョナサン・チェン博士は、「今は本当にワイルドウェストのようなものです。テクノロジーは非常に速く動きます。
彼の評価は、テクノロジーの進歩が劇的に描かれた
pedの開発を劇的に描いた分野で技術的な進歩が描かれている分野の絵を描くことさえします。その後、生成AIを使用することの課題を認める声明を発表しました。ただし、ELSA事件は、政府における早期のAI展開の危険についての強力で公的な警告として機能します。