Openi tomou medidas decisivas contra ameaças cibernéticas patrocinadas pelo Estado, proibindo várias contas vinculadas a atores na China e na Coréia do Norte. Em um relatório de ameaças divulgado em 8 de outubro, a empresa revelou que esses grupos usaram seus modelos de IA para redigir propostas para ferramentas de vigilância, desenvolver campanhas de phishing e ajudar na criação de malware. Mantém suas salvaguardas bloqueou com êxito solicitações diretas de código malicioso e que Nenhum recurso foi fornecido . src=”https://winbuzzfer.com/wp-content/uploads/2024/12/openai-ai-safety.jpg”>
atores apoiados pelo estado exploram ai para a vigilância e a phishing
href=”https://cdn.openai.com/thereat-intelligence-reports/7d662b68-952f-4dfd-a2f2-fe55b041cc4a/disrupting-malicious-eses-oi-october-2025.pdf”para governos autoritários. Os atores ligados aos chineses foram pegos usando o ChatGPT para projetar sistemas de monitoramento de mídia social em larga escala. Uma proposta alarmante teve como objetivo criar um “modelo de aviso de entrada relacionado ao uigur de alto risco”para rastrear a viagem de indivíduos-alvo. Essa atividade representa um claro esforço para usar a tecnologia avançada para vigilância e supressão do estado, de acordo com as descobertas da empresa. Eles aproveitaram o chatgpt para pesquisar técnicas de phishing, roubo de credenciais e desenvolvimento de malware, com um foco específico no macOS da Apple. Suas consultas envolveram a depuração de códigos maliciosos e explorando estratégias de engenharia social. Em vez disso, o
O objetivo final foi a velocidade e a escala. Para esses atores, o sucesso significava produzir e-mails de phishing pronto para fazer e alcançar”ciclos de iteração reduzidos para código e automação de rotina”. Esse foco em aumentar o tradecraft tradicional, em vez de criar novas formas de ataque, é uma descoberta fundamental da investigação do Openai. O relatório afirma que seus modelos”recusaram consistentemente pedidos maliciosos”. No caso de um desenvolvedor de malware de língua russa, o sistema negou especificamente solicitações diretas de explorações e keyloggers. No entanto, os atores de ameaças estão se adaptando. O relatório destaca instâncias de”adaptação e ofuscação”, onde usuários maliciosos mudam seu comportamento para evitar a detecção. Algumas redes de fraudes, cientes das discussões on-line sobre os padrões de texto gerados pela IA, instruíram especificamente o modelo a remover os dashes EM para tornar a saída mais humana. Essa dinâmica ilustra o desafio principal das plataformas de IA. De acordo com o Openai. A defesa eficaz requer uma”abordagem diferenciada e informada que se concentra nos padrões de comportamento do ator de ameaças, em vez de interações modelo isoladas”. Distinguir uma consulta de codificação benigna de uma destinada a refinar malware é a nova linha de frente na segurança da plataforma.
