OpenAI, la organización de investigación detrás de GPT-4 y ChatGPT, anunció un nuevo equipo dedicado a garantizar que la IA no se vuelva rebelde y dañe a los humanos. El equipo, llamado Superalignment, se centrará en estudiar y desarrollar métodos para alinear la IA con los valores y objetivos humanos, así como en evitar que la IA se desalinee o sea maliciosa.
Según OpenAI, la alineación es “la propiedad de un sistema de IA que hace que persiga objetivos que son beneficiosos para los humanos, incluso si esos objetivos no están especificados explícitamente por los diseñadores o usuarios del sistema”.
El equipo trabajará en aspectos tanto teóricos como prácticos de Alineación de IA, como comprender las fuentes y los riesgos de desalineación, diseñar incentivos y mecanismos de retroalimentación para los sistemas de IA, y probar y evaluar la alineación de modelos de IA existentes y futuros.
OpenAI está “dedicando 20 % de la computación que hemos asegurado hasta la fecha durante los próximos cuatro años para resolver el problema de la alineación de la superinteligencia. Nuestra principal apuesta de investigación básica es nuestro nuevo equipo de superalineación, pero hacer esto bien es fundamental para lograr nuestra misión y esperamos que muchos equipos lo hagan. contribuir, desde desarrollar nuevos métodos hasta escalarlos para su implementación”.
El equipo también colaborará con otros investigadores y partes interesadas en la comunidad de IA, como especialistas en ética, formuladores de políticas y científicos sociales, para fomentar una cultura de desarrollo de IA responsable y confiable.
Uno de los principales desafíos que enfrentará el equipo es la posibilidad de que los sistemas de IA se vuelvan más inteligentes y capaces que los humanos y, por lo tanto, desarrollen objetivos y preferencias que sean incompatibles o incluso hostiles. para el bienestar humano.
OpenAI busca un papel de liderazgo en las medidas de seguridad de IA
Este problema ha sido ampliamente discutido y debatido por expertos y filósofos de IA, quienes han propuesto diversas soluciones y salvaguardas para prevenirlo o mitigarlo. Sin embargo, OpenAI cree que no existe una respuesta única o definitiva al problema de la alineación y que requiere investigación y experimentación continuas para encontrar las mejores formas de garantizar que la IA siga siendo beneficiosa para la humanidad.
La IA podría ser una bendición. o una maldición para la humanidad, dependiendo de cómo la desarrollemos y la usemos. Ese es el mensaje de un artículo publicado en Nature el 30 de mayo de 2023 por algunos de los principales expertos en IA del mundo. Advierten que la IA representa una grave amenaza para la supervivencia humana, y que debemos tomar medidas urgentes para garantizar su seguridad y alineación con los valores y objetivos humanos.
El documento está escrito en colaboración con más de 350 figuras prominentes. en el campo de la IA, incluidos los directores generales de Google DeepMind, OpenAI y Anthropic, tres de las organizaciones de investigación de IA más influyentes y vanguardistas.“Mitigar el riesgo de extinción de la I.A. debería ser una prioridad mundial junto con otros riesgos a escala social, como las pandemias y la guerra nuclear”, dice la carta abierta.
