美國食品和藥物管理局的新助手“ Elsa”於6月推出，旨在徹底改變藥物批准，而是在製造不存在的研究並為其人類審稿人創造了更多工作。根據7月23日的CNN報告，該工具對關鍵任務不可靠。
FDA馬里蘭州總部的這種失敗與特朗普政府對AI的公眾稱讚形成鮮明對比。它強調了在高風險政府角色中部署未經證實的技術的嚴重風險，這是整個科技行業迴盪的問題。
AI張貼了AI。 HHS Secretary Robert F. Kennedy Jr. declared, “The AI revolution has arrived.”然而，在幕後，FDA員工告訴CNN，Elsa歪曲了研究並需要保持警惕，破壞了其目的。幻覺困擾
FDA專員馬蒂·馬克里（Marty Makary）博士低估了內部擔憂，並告訴記者:“我沒有聽到這些具體的擔憂，但這是可選的。如果他們找不到價值，他們不必使用Elsa。”但是，該立場避開了引入的工具的核心問題，以提高效率並加速批判性評論。 from inside the agency is far more alarming. One employee described the tool as unreliable for any task that cannot be double-checked, stating it “hallucinates confidently.”另一個人對新負擔感到遺憾，他說:“我浪費了很多額外的時間，這是因為我必須保持警惕。”
這項額外的工作源於艾爾莎（Elsa）的基本限制。工作人員指出，它無法訪問許多相關文件，例如機密行業提交的文檔，這對於審查藥物安全和有效性數據的核心科學工作使其毫無用處。當對基本問題進行測試時，它返回了錯誤的答案。
該機構自己的AI主管傑里米·沃爾什（Jeremy Walsh）承認技術現實，承認:“艾爾莎（Elsa）與許多大型語言模型和生成性AI沒有什麼不同。他們可能會幻覺。” AI產生自信但完全錯誤的信息的這種現像是困擾當前模型的中心缺陷。
該問題並非FDA的自定義工具所唯一的問題。 Even the most advanced commercial models suffer from it.例如，OpenAI在其自身的安全數據中揭示了其更新的O3和O4-Mini模型以比其前任的基準更高的速率以較高的速度構建信息。
研究人員將這種理論化的理論化是因為模型得到了獎勵，因為獎勵了正確的最終答案，因此學會了發明可行的調音步驟，以確保發明可行的步驟。當模型無法訪問自己的先前推理，迫使其在質疑其流程時迫使其構成詳盡的藉口時。斯坦福大學教授喬納森·陳（Jonathan Chen）博士直言不諱地描述了這種情況:“現在確實是野外的西部。技術的發展如此之快，甚至很難確切地理解它是什麼。
A Pattern of High-Stakes Failures Across the Industry
The FDA’s troubles are not an isolated incident. In May 2025, the legal team for AI firm Anthropic had to apologize after its Claude AI invented a legal citation for a copyright lawsuit.案件中的法官指出了“錯過的引文和AI產生的幻覺之間的差異世界。 ”
一個月前，AI代碼編輯器的用戶與支持機器人相遇，該機器人製造了一個虛假的公司政策，從而導致了與共同創建者的公共道歉。 Gmail的AI中的一個錯誤在錯誤地翻譯了德國電子郵件，引起了大量的內容操作。
t-tonline的總編輯弗洛里安·危害說:“對於新聞的聲譽和嚴重媒體的信譽，這些文本操作是毀滅性的，“強調了對專業的誤解的損害。正如一位來自醬汁實驗室事件發生後的醬汁實驗室的分析師一樣，“讓用戶知道‘此響應是由AI產生的”，這可能是恢復用戶忠誠度的措施不足。”
這個情緒表明，該行業正在慢慢地學習簡單的免責聲明和透視措施不足以確定基本的信任和可靠性。 Reality
This string of high-profile blunders is forcing a broader industry recalibration. A study of call center AI found it often created more work for human agents. Analyst firm Gartner also reversed a key forecast, now 預測一半的組織將放棄計劃用AI 。
替代人類支持人員的計劃。這種務實的轉變承認了該技術的當前局限性，並反映了越來越多的理解，即AI錯誤的成本可以超過自動化的好處。
Elsa Fiasco發生在白宮揭示其“ AI行動計劃”的“ AI行動計劃”，這是一種促進放鬆調查以加快AI開發的策略。這推動了快速，未經檢查的創新與技術不可靠的現實衝突。
該計劃的重點是剝奪“官僚繁文tape節”，並取消對AI風險管理的先前訂單，儘管有明確的跡象，但仍可以使Elsa之類的工具的部署加速，儘管他們有明確的跡象。斯坦福大學的教授喬納森·陳（Jonathan Chen）博士在臨床環境中研究了AI，他警告說:“現在確實是野外的西部。這項技術的移動如此之快，甚至很難完全理解它的本質。”
他的評估繪製了一場技術進步的圖片，而技術進步的圖像卻超過了安全協議的開發範圍