有害なコンテンツを識別するためのメタのアルゴリズムは、「世界をより近づける」というミッション ステートメントに誤ってフラグを立てました。これは、「メタ」と「テロ組織」の概念の間に非常に高い相関関係があることを示しています。
この事件により、アルゴリズムの徹底的な見直しを任された新入社員のセバスチャン・カルロス氏が即刻解雇され、コンテンツ管理におけるAIの役割について倫理的および技術的な疑問が生じた。 ブログ投稿で詳しく説明しています。
コンテンツモデレーションの大胆な見直し
この論争は、開発者の Sebastian Carlos が Meta’s に加わったときに始まりました。新入社員として最初の週の「有害コンテンツ検出」チーム。 Meta のコンテンツ モデレーション システムの効率と精度を向上させるという任務を負った彼らは、既存のアルゴリズムの重大な欠点を特定しました。
Carlos は、<を使用して根本的な書き換えを提案しました。Prolog は、記号推論と複雑な関係を処理する能力で有名なプログラミング言語です。 Prolog の宣言型の性質により、有害なコンテンツの微妙な定義を分析するのに特に適しています。
アルゴリズムの文脈上の理解を強化するために、オーバーホールではウィキペディア、宗教文書、百科事典などの多様なデータセットが組み込まれました。この多面的なアプローチにより、カルロスは文化的および文脈上の包括性を確保することを目指しました。ただし、このアプローチには膨大な計算リソースも必要でした。
関連: ザッカーバーグ氏のファクトチェック停止の動き、トランプ氏とマスク氏が称賛、批評家らは衝撃
カルロス氏は、メタの内部コスト指標（ユーモアたっぷりにこう呼ばれる）がどのように機能するかを説明する。 「グアテマラ年」（グアテマラの GDP に相当）は、計算コストを正当化するために使用されました。
改良されたアルゴリズムが設計されました。カルロス氏によると、その目標は、有害なコンテンツを正確に分類できる偏りのないシステムを作成することであり、毎日何百万件もの投稿を処理し、その内容を正確に分類することでした。
AI が内向きになるとき
最初の大規模なテスト実行中、更新されたアルゴリズムはメタのミッション ステートメントに次のようなフラグを立てました。
デバッグの結果、ロジックにエラーは見つかりませんでした。代わりに、システムの高度な分析により、「メタ」という用語と、「テロリズム」および「企業の行き過ぎ」に関連するフレーズとの間に高い相関関係があることが判明しました。予想外の結果は、道徳や危害などの曖昧な概念をナビゲートするために AI システムをトレーニングするという課題を浮き彫りにしました。
カルロスが書いているように、フラグ付きの声明は直ちに社内での議論を引き起こしました。一部のエンジニアはアルゴリズムの厳密さを賞賛したが、他のエンジニアは潜在的な広報活動への影響を懸念した。伝えられるところによると、ある上級マネージャーはカルロスに対し、「ほら、これは…すごいことだけど、このままでは OKR を達成することはできない」と話し、技術的な精度と組織の優先事項の間の緊張と溝の広がりを強調したと伝えられています。
フォールアウト: 倫理と秘密保持契約
カルロスがチーム会議中に調査結果を発表したとき、事件はさらにエスカレートしました。アルゴリズムの決定の背後にある論理を示したにもかかわらず、従業員の仕事は従業員からの抵抗に遭いました。その直後、彼は解雇され、厳格な機密保持を強制するために設計された不明瞭な法的メカニズムである「二重NDA」に署名するよう求められた。
二重 NDA。二国間または相互とも呼ばれますNDA は、関係する両当事者が相互に機密情報を開示し、その情報をさらなる開示から保護することに同意する法的拘束力のある契約です。
カルロスさんは、彼の弁護士が、そのような契約は相互に無効になり、従業員が自分の経験を公に話すことを可能にする可能性があると示唆していると書いています。自身の解雇を振り返り、「真実が常に企業目標と一致するとは限らない」と結論づけています。
適度な AI の役割
メタのコンテンツモデレーション ツールは、プラットフォーム上でユーザーが作成した膨大な量のコンテンツを管理するために不可欠です。同社の AI への依存は必要不可欠であると同時に、行き過ぎや不十分さの例を指摘する論争の原因となっています。
この事件により、AI の意思決定における透明性と説明責任についての疑問が生じ、これをアルゴリズムの効率性の表れと解釈する可能性があります。/p>
もしかしたら、メタの行為とイデオロギーの偏見は実際にテロ組織のものに似ていて、アルゴリズムは的を射ていたのではないか? しかし、カルロスにとってこの結果は、すでに困難を極めたスタートに終止符を打つことになった。
カルロスも書いているように、メタの拡張現実メガネは、面接プロセス中に、関与した開発者がコーディングの課題を解決するためにメガネに依存し、カルロスが提案したソリューションを修正および改善する際に使用されていました。その後、彼はインタビュアーに自分の調査結果を突きつけ、この事件を利用してメタ社に入社する際の給料の引き上げ交渉を行い、実際に彼を脅迫したことさえありました。
このサイドストーリーはさておき、カルロスの経験は予期せぬ結果にスポットライトを当てています。 AI システムの概要を説明し、危害、道徳、安全などの人間の微妙な概念を理解し、適用するためのアルゴリズムをプログラミングすることの難しさを浮き彫りにします。
フラグが立てられたミッション ステートメントは、異常であるか、完全に一致している可能性があります。いずれにせよ、Meta はこれについて深く掘り下げるつもりはありません。
