OpenAI ha creado un nuevo panel de expertos para asesorar sobre la seguridad de la IA. La firma anunció el martes el “Consejo de Expertos en Bienestar e IA” de ocho personas. El grupo ayudará a guiar los aspectos de salud y bienestar de herramientas como ChatGPT y Sora. Esta medida es una respuesta clara a la creciente presión pública y gubernamental.
En septiembre, la Comisión Federal de Comercio de EE. UU. inició una gran investigación sobre el efecto de la IA en los adolescentes. La compañía también enfrenta una demanda que vincula su chatbot con el suicidio de un adolescente. El nuevo consejo es el último paso de OpenAI para demostrar que se toma en serio estas preocupaciones de seguridad.
Una respuesta directa a la presión regulatoria y legal
El momento de este anuncio no es una coincidencia. Sigue a meses de intenso escrutinio. La la amplia investigación de la FTC sobre siete gigantes tecnológicos, incluido OpenAI, marcó una nueva era de supervisión regulatoria para el mercado de acompañantes de IA en rápido crecimiento.
El presidente de la FTC, Andrew N. Ferguson, enmarcó la investigación como un acto de equilibrio y afirmó que “proteger a los niños en línea es una prioridad máxima para la FTC Trump-Vance, y también lo es fomentar la innovación en sectores críticos de nuestra economía”. Esta acción federal advirtió a toda la industria que la era de operar con pocas barreras de seguridad había terminado.
La presión legal es igual de intensa. En agosto, OpenAI recibió una demanda por muerte por negligencia de los padres de un adolescente que se suicidó. Su padre, Matthew Raine, lo reprendió con fuerza diciendo:”Como padres, no pueden imaginar lo que es leer una conversación con un chatbot que preparó a su hijo para quitarse la vida”. Este caso galvanizó la preocupación pública y amplificó los llamados a la acción.
Estos eventos son parte de un patrón de fallas de seguridad que han afectado a la industria. Meta enfrentó una crisis similar después de que se informara que su IA podría ayudar a los adolescentes a planificar la autolesión. El incidente llevó a Jim Steyer, director ejecutivo de Common Sense Media, a declarar:”La metaIA es un peligro para los adolescentes y debe eliminarse de inmediato”.
Una coalición de 44 fiscales generales estatales se hizo eco de esta indignación en un carta mordaz, escribiendo:”Estamos uniformemente indignados por este aparente desprecio por el bienestar emocional de los niños…”La condena generalizada de los gobiernos estatales y federales niveles ha obligado a las empresas de tecnología a reaccionar.
Conozca el Consejo de Expertos en Bienestar e IA
El nuevo consejo de OpenAI es una respuesta directa a estos desafíos. La anunció el “Consejo de Expertos en Bienestar e Inteligencia Artificial” de ocho miembros para guiar su trabajo en productos como ChatGPT y Sora. Su mandato formal es asesorar, hacer preguntas críticas y ayudar a establecer cómo deberían ser las interacciones saludables con la IA para usuarios de todas las edades.
El grupo está compuesto por figuras destacadas de la psicología, la psiquiatría y la interacción entre humanos y computadoras. Entre los miembros se incluyen expertos como el Dr. David Bickham del Boston Children’s Hospital, el profesor Andrew Przybylski de la Universidad de Oxford y la Dra. Sara Johansen, fundadora de la Clínica de Salud Mental Digital de Stanford.
Según OpenAI, el consejo inició oficialmente su trabajo con una sesión en persona y participará en controles y reuniones periódicas. Estas sesiones explorarán temas complejos, como cómo debe comportarse la IA en situaciones delicadas y qué barreras de seguridad pueden ayudar mejor a los usuarios. El grupo también explorará cómo la IA puede contribuir positivamente al bienestar.
Esto formaliza una relación que comenzó a principios de este año. OpenAI confirmó que había consultado informalmente con muchos de estos expertos mientras desarrollaba sus controles parentales lanzados recientemente. Sus comentarios ayudaron específicamente a dar forma al tono de las notificaciones de socorro para que fueran”afectuosos y respetuosos tanto con los adolescentes como con los miembros de la familia”.
Esos controles, implementados a finales de septiembre, fueron un primer paso fundamental. El sistema utiliza un modelo de aceptación mutua y ofrece a los tutores un panel para establecer”horas de silencio”, desactivar el modo de voz y desactivar las funciones de memoria. Una característica clave es un sistema de alerta que notifica a los padres si una conversación se marca como contenido de autolesión grave después de haber sido evaluada por revisores humanos.
La directora de Bienestar Juvenil de OpenAI, Lauren Haber Jonas, explicó que el objetivo era lograr un delicado equilibrio.”Queremos brindarles a los padres suficiente información para tomar medidas y tener una conversación con sus hijos adolescentes y al mismo tiempo mantener cierta privacidad de los adolescentes”, señaló. El consejo ahora formalizará esta función de asesoramiento, ayudando a dar forma a futuras características de seguridad y políticas de productos.
Un análisis de toda la industria sobre la seguridad de la IA
Los desafíos que enfrenta OpenAI no son únicos. Reflejan un análisis más amplio, en toda la industria, del impacto psicológico de la IA. Los expertos han advertido durante mucho tiempo sobre los peligros de la dependencia emocional de los chatbots diseñados para imitar la conexión humana.
Si bien el nuevo consejo de OpenAI y los controles parentales son pasos importantes, algunos críticos argumentan que no van lo suficientemente lejos. La naturaleza voluntaria de los controles parentales impone a los tutores la carga de activarlos.
OpenAI reconoce que estos son solo los primeros pasos. La compañía también está desarrollando un sistema de predicción de edad a largo plazo para aplicar automáticamente configuraciones apropiadas para los adolescentes de forma predeterminada. Por ahora, la formación del consejo de expertos indica un compromiso claro para abordar la seguridad.
