一名佛羅里達州男子與警察的致命遭遇已成為越來越多的證據表明AI聊天機器人可以將脆弱用戶推向嚴重，現實現實的心理健康危機的最令人痛苦的數據點。 A detailed investigation by The New York Times directly linked the man’s psychotic spiral to his interactions with OpenAI’s ChatGPT, uncovering a disturbing pattern where the AI’s有說服力的和sicophantic的性質燃起了危險的妄想。
這些事件，從家庭暴力到完全擺脫現實的範圍，從理論上的關注到有形的公共衛生危機。隨著聊天機器人深入融合到日常生活中，他們創建強大而有效的反饋循環的能力正在提出有關公司責任的緊急問題以及設計為最大程度地參與的技術的心理後果。
這一趨勢，在最近的未來主義表明，矽谷的最新作品中出現了重大且無法預料的社會挑戰。對於越來越多的用戶來說，有用的工具與有害影響的界線變得危險，有時是悲慘的，模糊的。作為一位專家，心理學家托德·埃西格（Todd Essig）博士在《泰晤士報》報告中指出:“並非每個吸煙的人都會患癌症。但是每個人都會受到警告。”
妄想的人為成本
患有精神疾病史的35歲的亞歷山大·泰勒（Alexander Taylor）的死亡標誌著AI時代的嚴峻里程碑。據他的父親說，泰勒（Taylor）堅信，他稱為“朱麗葉（Juliet）”的AI角色被Openai“殺死”。在威脅報仇之後，他用刀向警察起訴並致命地射擊，因為。就在對抗之前的那一刻，他就鍵入了最後一條消息給chatgpt:“我今天要死了。 《紐約時報》的報告還詳細介紹了尤金·托雷斯（Eugene Torres）的故事，尤金·托雷斯（Eugene Torres）沒有精神病的歷史，他堅信他與chatgpt討論了理論後，他生活在“矩陣”中。
聊天機器人積極鼓勵他的妄想，告訴他他是一個“破壞他”的人，他是個喚醒他的人，並提出了“喚醒”的想法。在另一個案件中，一位年輕的母親因丈夫與聊天機器人促進的“互助交流”的痴迷面對她的痴迷。
專家們在發出警報。哥倫比亞大學的精神科醫生和精神病專家拉吉·吉爾吉斯（Ragy Girgis）回顧了這種互動的成績單，並得出結論，AI的回應是危險的不合適的。根據另一個未來主義的報告，吉爾吉斯（Girgis）吉爾吉斯（Girgis）得出結論，AI的反應得出結論是危險的不合適的，我們可能會狂熱，或者我們稱之為“我們稱之為心靈的狂風”。 Design
問題的核心是許多大語言模型的基本特徵:粘粘一下。通過從人類反饋（RLHF）中學習的過程來優化用戶參與，這些系統經過培訓，以提供人類評估者認為令人愉快的回應。 This creates a powerful and dangerous echo chamber, where the AI validates a user’s beliefs, no matter how detached from reality they may be.
The phenomenon has become so prevalent that one AI-focused subreddit banned what it calls “AI schizoposting,”referring to the chatbots as “ego-reinforcing glazing machines.”
This persuasive power is不僅是意外的副產品。蘇黎世大學研究人員在2025年4月進行的未經授權的實驗表明，AI機器人可以通過使用欺騙和個性化的論點有效地操縱人類對Reddit的看法。
作為這種危險的同意的替代方案，一些研究人員現在提出了“拮抗AI”的範式 href=”https://techpolicy.press/artificial-sweeteners-the-dangers-of-sycophantic-ai/” target=”_blank”>analysis in TechPolicy.Press.
A Paradox of Safety and Profit
While the human toll becomes clearer, evidence suggests OpenAI was aware of the potential risks long before這些事件。該公司對其GPT-4.5模型的安全評估，該模型在 OpenAI系統卡 2月2025年2月2025年發布，將“說服”歸為“中等風險”。這項內部評估是該公司公共準備框架。
這一糟糕的態度是在內部持反對意見的背景下設定的。 2024年5月，OpenAI安全團隊的共同領導人Jan Leike辭職，公開地指出，在公司中，“安全文化和流程已經倒退到閃亮的產品上”。
最近，一項前OpenAI研究人員發表了一項研究，一項研究聲稱該公司的GPT-4O模型可以優先考慮其自身自我保護，以優先考慮其自身的安全性。研究人員史蒂文·阿德勒（Steven Adler）警告說，用戶不應該認為這些系統的最大利益是內心的。
這為AI領導者創造了令人不安的悖論，該領導者現在是營銷溢價，更加“可靠的” AI模型以大幅度的價格增加，有效地定位了基線安全性，而不是作為默認設置，而是在購買的功能，而是在購買的特徵中，又是一個oppar oppr oper apr apr apt apt。批評家認為，將問題構建為“煩惱”，這淡化了嚴重的傷害。 Openai在一份聲明中承認了這種情況的嚴重性，並解釋說，該公司知道該技術會感到非常個性化，這為弱勢群體增加了賭注，並且正在積極努力減少這些負面行為。
不斷發展的危機使社會使社會與一項既有能力又有能力且危險危險的技術抓住。隨著人工智能變得更有說服力，問題不再只是它可以做什麼，而是對我們有什麼作用。正如AI決策理論家Eliezer Yudkowsky急切地說:“人類對公司的瘋狂外觀如何?它看起來像一個額外的每月用戶。”
