OpenAI prohíbe las cuentas chinas y norcoreanas respaldadas por el Estado por uso malicioso de IA

Este enfoque a menudo funciona en lo que OpenAI llama una”zona gris”de actividad dual. Una parte significativa del uso malicioso involucraba las indicaciones para tareas aparentemente inocuas como traducir texto, modificar el código o crear un sitio web.

Estas solicitudes solo se vuelven amenazantes según el contexto y la intención del usuario, planteando un desafío de detección complejo.

Los operadores de lenguaje coreano, por ejemplo, hicieron muchas solicitudes que podrían involucrar aplicaciones legítimas como el desarrollo de software. Sin embargo, como señala el informe, estas actividades”tienen un significado diferente cuando se reutiliza un actor de amenaza”. El objetivo no era la invención, sino la aceleración de las operaciones cibernéticas existentes.

De manera similar, el grupo de phishing ligado a China utilizó AI para buscar eficiencia incremental. La principal ventaja que obtuvieron fue de la”fluidez lingüística, localización y persistencia”. Esto se tradujo en generar correos electrónicos con menos errores de idioma, crear”código de pegamento más rápido”y hacer ajustes más rápidos cuando sus ataques iniciales fallaron.

El objetivo final era la velocidad y la escala. Para estos actores, el éxito significó producir correos electrónicos de phishing listos para enviar y lograr”ciclos de iteración acortados para el código de rutina y la automatización”. Este enfoque en aumentar la artesanía tradicional, en lugar de crear nuevas formas de ataque, es un hallazgo clave de la investigación de OpenAI.

A lo largo de estas operaciones, Operai enfatizó que sus salvaguardas se mantuvieron firmes constantemente contra las amenazas directas. El informe indica que sus modelos”rechazaron constantemente las solicitudes maliciosas”. En el caso de un desarrollador de malware de habla rusa, el sistema negó específicamente las solicitudes directas de exploits y keyloggers.

Sin embargo, los actores de amenaza se están adaptando. El informe destaca las instancias de”adaptación y ofuscación”, donde los usuarios maliciosos cambian su comportamiento para evitar la detección. Algunas redes de estafas, conscientes de las discusiones en línea sobre los patrones de texto generados por IA, instruyeron específicamente al modelo para eliminar las placas EM para que la salida parezca más humana.

Esta dinámica ilustra el desafío central para las plataformas AI. Según OpenAi. La defensa efectiva requiere un”enfoque matizado e informado que se centre en los patrones de comportamiento del actor de amenaza en lugar de interacciones modelo aisladas”. Distinguir una consulta de codificación benigna de una destinada a refinar malware es la nueva línea de frente en la seguridad de la plataforma.