a hiện tượng”Elsagate”hiện tượng , nhưng được tăng áp bởi các công cụ AI hiện đại. Trả lời báo cáo của Wired, YouTube đã xác nhận rằng họ đã chấm dứt hai kênh được gắn cờ vì vi phạm các điều khoản dịch vụ của mình, kiếm tiền từ ba người khác và xóa các video cụ thể vi phạm chính sách an toàn cho trẻ em của mình.
Một kênh có tên Lý thuyết Internet đã chết chứ không phải người xem. El Elsagate,”Trường hợp các video không phù hợp sử dụng các nhân vật trẻ em đã trượt qua các bộ lọc lên ứng dụng YouTube Kids Kids nhiều năm trước. YouTube đã thực hiện các bước sau đó, xóa quảng cáo trên hàng triệu video và xóa thêm hàng trăm ngàn. Tạo các hình ảnh động rùng rợn này không còn đòi hỏi các kỹ năng chuyên môn, chỉ có khả năng tạo ra các lời nhắc AI (hoặc phá vỡ) AI, dẫn đến sản xuất quy mô lớn, nhanh chóng, thường theo hướng dẫn trực tuyến về việc kiếm tiền. Thêm vào đó, không giống như tạo ra nội dung truyền thống, các video do AI tạo ra có thể được sản xuất với khối lượng lớn với sự giám sát tối thiểu. Không có sự xem xét của con người trong đường ống sáng tạo, tài liệu không phù hợp và có khả năng có hại có thể dễ dàng tiếp cận với trẻ em.”Phương tiện truyền thông thông thường đã xác định các chủ đề định kỳ trong các video được hiển thị cho chúng bởi dây, bao gồm các nhân vật của người Viking trong sự đau khổ hoặc nguy hiểm cực độ”, cắt xén, thủ tục y tế và các thí nghiệm tàn nhẫn,”và các mô tả về lạm dụng và tra tấn trẻ em. href=”https://www.youtube.com/watch?v=JNLVFMX9Q4I&T Các công cụ
YouTube khẳng định các hướng dẫn cộng đồng và nguyên tắc chất lượng của nó áp dụng cho tất cả các nội dung, bao gồm cả tài liệu do AI tạo và nó sử dụng cả người đánh giá con người và công nghệ để thực thi. Nền tảng cũng lưu ý rằng các nỗ lực của người dùng bị cấm mở các kênh mới vi phạm các điều khoản dịch vụ của nó và được thi hành bằng cách sử dụng kết hợp cả người và công nghệ.”Vào tháng 4 năm 2024, Google, Microsoft và các công ty AI khác đã công khai các biện pháp an toàn cho trẻ em được phát triển với các tổ chức như Thorn, cam kết cụ thể chống lại các mô hình đào tạo về hoặc tạo CSAM.
Google đã nhấn mạnh cụ thể các nhóm bên trong và công nghệ được sử dụng để phát hiện CSAM. Sau đó, vào tháng 9 năm 2024, một số công ty đã thực hiện các cam kết tự nguyện với Nhà Trắng để chống lại Deepfakes có hại và hình ảnh khai thác không thỏa thuận.
YouTube đã giới thiệu các công cụ cụ thể trong năm qua. Cập nhật chính sách bảo mật tháng 6 năm 2024 cho phép các cá nhân yêu cầu loại bỏ phương tiện truyền thông AI sao chép sự giống nhau của họ, mặc dù có thể được xem xét. Gần đây, vào tháng 10 năm 2024, YouTube đã giới thiệu một nhãn hiệu được chụp bằng nhãn”dựa trên tiêu chuẩn C2PA (Liên minh về nguồn gốc nội dung và tính xác thực), điều này nhúng siêu dữ liệu để xác minh xác thực, các cảnh quay không được chỉnh sửa. YouTube cũng yêu cầu người sáng tạo gắn nhãn nội dung do AI tạo ra, mặc dù điều này phụ thuộc vào sự trung thực của người tạo. Các kênh thường xuất hiện lại nhanh chóng sau khi triệt phá. Vấn đề không được giới hạn trong YouTube. Bằng cách phủ lên các bộ lọc AI lên cảnh quay thực sự về các sự cố bạo lực. Tiktok đã nói với 404 Media rằng, Thực hiện hành động để loại bỏ nội dung do AI tạo ra có hại vi phạm các chính sách của nó. Nó cũng thúc đẩy các cuộc thảo luận liên tục về trách nhiệm nền tảng và tính đầy đủ của các biện pháp an toàn hiện tại, bao gồm các cam kết công nghiệp tự nguyện so với quy định chính thức, như Đạo luật AI AI của EU. Sense Media sau Cố vấn AI cao cấp Tracy Pizzo Frey đã làm chứng tại một phiên điều trần. Dự luật đề xuất phân loại rủi ro cho các hệ thống AI và các hạn chế đối với một số ứng dụng nhất định cho trẻ vị thành niên, chẳng hạn như
Outube tuyên bố Nội dung người xem được chỉ định là chất lượng cao”đã tăng 45 % trên ứng dụng YouTube Kids riêng biệt kể từ khi các nguyên tắc này được đưa ra, mặc dù cuộc điều tra có dây cho thấy nội dung do AI tạo ra tiếp tục tìm thấy con đường trên nền tảng chính.