AI-företaget Anthropic har medgett sin Claude AI tillverkat en juridisk citation som därefter använts av sina advokater, Latham & Watkins, i en pågående upphovsrätt. Företaget bad formellt om ursäkt för vad det beskrev som”ett pinsamt och oavsiktligt misstag”, efter att musikförlag gav den felaktiga citatet till domstolens uppmärksamhet.
Denna incident kastar en hård rampljus på de ihållande tillförlitlighetsfrågorna som plågar konstgjord intelligens i yrkesmiljöer med höga insatser. Anthropic’s Court-inlämnande detaljerade hur dess Claude.ai-modell gav en citering med vad företaget kallade”en felaktig titel och felaktiga författare”, ett fel som tyvärr gled genom manuella granskningsprocesser. Tillträdet bidrar till en växande lista över AI-genererade felinformation, som uppmanar allvarliga frågor om den nuvarande beredskapen för sådan teknik för kritiska tillämpningar och understryker den oumbärliga naturen av en noggrann mänsklig övervakning, särskilt som investeringar i Legal Ai Technologies fortsätter att påskynda en Accelerate. Akademisk artikel genom en Google-sökning för att potentiellt stärka expertbevis, fick hon Claude.ai att generera en korrekt formaterad juridisk citering med hjälp av den direkta länken till rätt artikel.
Emellertid återlämnade AI en citation som, även om han inkluderade rätt publiceringstitel, år och länk, innehöll en felaktig artikeltitel och felaktigt författare. Detta kritiska misstag, tillsammans med andra AI-introducerade formuleringsfel i fotnoter, fångades inte under advokatbyråns manuella citeringskontroll. Allt detta inträffade inom Anthropics juridiska försvar mot musikförlag som inledde en rättegång i oktober 2023, och hävdade att Claude AI var olagligt utbildad med hjälp av upphovsrättsskyddade sångtexter. anklagelser. Domare Van Keulen beskrev den potentiella användningen av en tillverkad citation som”en mycket allvarlig och allvarlig fråga”, som Musik”> Musik”> Musik”> Rapporter . During that hearing, Matt Oppenheim, attorney for the music publishers, revealed he had contacted one of the purported authors and the journal, confirming no such article existed, and suggested, “we do believe it is likely that Ms. Chen used Anthropic’s AI tool Claude to develop her argument and authority to support it.”
In defense, Anthropic’s attorney, Sy Damle of Latham & Watkins, hävdade att det troligtvis var en”en felcitation”snarare än en direkt tillverkning. Domare Van Keulen påpekade påpekade påpekade”skillnaden mellan en missad citation och en hallucination genererad av AI.”Musikutgivarna gick så långt som att uppmana domaren att sanktionera Latham & Watkins advokater för övervakningen, enligt Law360 .
Denna situation är inte en isolerad incident inom den juridiska tekniska sfären. En nyligen Rapportera från Verge lyfte fram en annan instans där en Kaliforniens domare kritiserade lagfirma för”Bogus ai-greerated.”Dessutom är en Sorbara-lagen diskuterar a 2025 Ontario-fallet, Ko v. Kompetent,”som en varning mot fel som härrör från AI-användning.
Medan Anthropic tidigare hade nått en uppgörelse i januari 2025 med musikförlag som rör Claude genererade texter, fortsätter den grundläggande tvisten om lagligheten att utbilda AI om upphovsrättsskyddat material. In March 2025, Anthropic had secured a procedural victory when a judge denied an injunction request by the publishers.
AI Hallucination: A Persistent Challenge
The phenomenon of AI models generating confident-sounding but entirely false or misleading information, widely known as ‘hallucination’, continues to be a significant hurdle for the Artificiell intelligensindustri. Metas AI, till exempel, mötte den offentliga motreaktionen i juli 2024 för att felaktigt förneka en major, allmänt rapporterad nyhetshändelse.
Joel Kaplan, Metas globala politiska chef, hänvisade uppriktigt till hallucinationer som en”branschövergripande fråga.”och erkände att alla generativa AI-system kan och göra, producera felaktiga utgångar. Oroande är ännu nyare och förment mer avancerade modeller inte immun; OpenAI: s O3-och O4-Mini-modeller, som släpptes runt april, uppvisar enligt uppgift högre hallucinationsnivåer på vissa riktmärken än deras föregångare. En talesman för OpenAI som förmedlar att hanteringen av dessa tillverkningar är fortfarande ett aktivt och pågående forskningsområde för företaget.
Oberoende forskning, inklusive arbete av översättnings AI, har föreslagit att vissa AI-utbildningstekniker, såsom förstärkning av lärande, kan oavsiktligt amplifiera dessa hallucinationsfrågor i Advanced-modeller, ett perspektiv som delas av forskare NEILH-lärdom, kan oavsiktligt amplifiera dessa hallucinationsfrågor i Advanced Models, ett perspektiv som delas av forskare NEILDILDHURDHUSHURDHURDHURD. Andra teknikföretag har också varit tvungna att offentligt adressera AI-missförstånd.
till exempel, markör AI: s kundsupport Chatbot uppfann en fiktiv företagspolicy i mitten av april 2025, vilket ledde till betydande användaråterlag och en snabb ursäkt från sin grundare. Han medgav att deras “frontlinje AI-stödbot” var ansvarig för händelsen. Tidigare Google Chief-beslutsforskare
det juridiska yrket, bland annat, är aktivt att möta de komplexiteter och ansvar av integrerande AI-verktyg. En studie som presenterades vid CHI 2025-konferensen avslöjade en nyfiken konstaterande: Individer kan visa en preferens för AI-genererad juridisk rådgivning om de inte är medvetna om dess ursprung, trots den kända opålitligheten i aktuella AI-system. Denna tendens väcker betydande oro över potentialen för användare att agera på felaktig eller helt felaktig information. Som svar på dessa utmaningar bedriver AI-forskarsamhället aktivt lösningar. Ett sådant exempel är det säkra systemet (sökförstärkta faktualitetsutvärderare), utvecklat av forskare från Google DeepMind och Stanford University, som är utformat för att förbättra sanningen i AI-chatbot-svar genom korsreferenser genererade fakta med information från Google-sökning. This incident, however, serves as a potent, industry-wide caution: rigorous and diligent human verification remains absolutely critical as artificial intelligence tools become increasingly integrated into professional and critical workflows. The path forward will undoubtedly require the development of more dependable AI systems, coupled with clear, robust usage guidelines and potentially new regulatory frameworks, such as the transparency mandates seen in the EU AI Agera, för att främja allmänhetens förtroende och säkerställa ansvarsskyldighet i den snabbt utvecklande åldern för generativ AI. navigerar AI inom juridiska och andra kritiska områden
