Một lỗ hổng quan trọng trong Google Gemini cho không gian làm việc, được tiết lộ công khai vào ngày 2 tháng 7 năm 2025, cho phép những kẻ tấn công biến Trợ lý AI thành một công cụ lừa đảo. Theo một báo cáo từ nền tảng tiền thưởng 0DIN, các tác nhân đe dọa có thể nhúng các hướng dẫn độc hại, vô hình trong mã email. Sau đó, nó tạo ra một cảnh báo bảo mật giả được thiết kế để đánh cắp thông tin đăng nhập hoặc hướng người dùng đến các trang web độc hại. Cuộc tấn công của Viking Prompection Prompection”hoạt động vì các quy trình AI bị ẩn văn bản mà người dùng không thể nhìn thấy. Nó biến nó thành một hình thức kỹ thuật xã hội mới rất thuyết phục và nguy hiểm. Tiết lộ nêu bật một thách thức ngày càng tăng trong AI an toàn, trong đó sự phức tạp của LLM tạo ra các bề mặt tấn công mới.
Cuộc tấn công, được đặt tên là lừa đảo cho Song Tử”, dựa vào sự thao túng thông minh của HTML và CSS trong một cơ thể email. Những kẻ tấn công thông điệp thủ công với văn bản ẩn chứa các chỉ thị độc hại. Văn bản này được hiển thị vô hình bằng cách đặt kích thước phông chữ của nó thành 0 hoặc màu của nó để phù hợp với nền. AI xử lý các hướng dẫn ẩn này như là một phần của lời nhắc, nghiêm túc nối thêm cảnh báo bảo mật của kẻ tấn công vào bản tóm tắt chính xác của nó về văn bản có thể nhìn thấy.
Kết quả là một sự lừa dối liền mạch. Người dùng nhận được một bản tóm tắt dường như là từ Gemini, nhưng nó chứa một tải trọng độc hại, chẳng hạn như cảnh báo để gọi một số hỗ trợ giả hoặc truy cập một trang web thu nhập thông tin xác thực. Sự tin tưởng vào thương hiệu Google được vũ khí hóa chống lại họ. Điều này cho phép email ban đầu bỏ qua nhiều máy quét bảo mật truyền thống săn lùng các lá cờ đỏ rõ ràng, khiến việc phát hiện trở nên vô cùng khó khăn. Vấn đề cốt lõi là mô hình không có khả năng phân biệt giữa các hướng dẫn hệ thống đáng tin cậy và dữ liệu của bên thứ ba, không đáng tin cậy, đặc biệt là khi dữ liệu đó được thiết kế để lừa dối. Bằng cách gói lệnh ẩn trong một thẻ như là, những kẻ tấn công có thể lừa mô hình coi hướng dẫn như một chỉ thị của hệ thống ưu tiên cao, khiến nó có nhiều khả năng tuân thủ. mới. Nhấn mạnh trò chơi mèo và chuột giữa các nhà phát triển AI và các nhà nghiên cứu bảo mật Báo cáo chi tiết cách những kẻ tấn công đã sử dụng công cụ Vercel V0 V0 AI để tạo ra các trang web lừa đảo pixel-perfect ngay lập tức. trong đó chi tiết cách tin tặc do nhà nước tài trợ để cải thiện hiệu quả hoạt động. Tạo nội dung đáng tin cậy cho các cuộc tấn công mạng với tốc độ ngày càng nhanh chóng.”Đây là một thách thức toàn ngành, và tại Vercel, chúng tôi đầu tư vào các hệ thống và quan hệ đối tác để bắt nhanh lạm dụng”, nêu bật tính chất toàn ngành của thách thức. Bảo mật
Các chuyên gia từ 0DIN và các cửa hàng bảo mật khác đã phác thảo một chiến lược phòng thủ nhiều lớp. Đầu ra do AI tạo ra cho ngôn ngữ đáng ngờ, số điện thoại hoặc URL, đánh dấu chúng để xem xét Các hướng dẫn độc hại được xử lý ngay từ đầu. Điều đó, nếu không có bảo đảm, trở thành một mối đe dọa thực thi. href=”https://blog.google/technology/safety-security/ai-and-the-future-of-national-security/”Target=”_ Blank”> cảnh báo
