A OpenAI revelou a Red Teaming Network, uma iniciativa que visa fortalecer a resiliência e a segurança dos seus modelos de IA. A Red Teaming Network busca aproveitar a experiência de um grupo diversificado de profissionais para avaliar criticamente e testar a resistência de seus sistemas de IA.
Uma abordagem proativa para segurança de IA
Red teaming, um método de avaliação de segurança simulando possíveis ataques adversários, tornou-se uma etapa fundamental no modelo de IA processo de desenvolvimento. Esta abordagem é especialmente crucial à medida que as tecnologias generativas de IA ganham força no mainstream. O objetivo principal é identificar e retificar preconceitos e vulnerabilidades nos modelos antes que se tornem problemas generalizados. Por exemplo, o DALL-E 2 da OpenAI enfrentou críticas por perpetuar estereótipos, e a equipe vermelha garante que modelos como ChatGPT aderem protocolos de segurança.
A história da OpenAI com red teaming não é nova. A empresa já colaborou com especialistas externos para avaliação de riscos. No entanto, a Red Teaming Network representa um esforço mais estruturado, visando aprofundar e expandir as colaborações da OpenAI com cientistas, instituições de investigação e organizações da sociedade civil. Conforme declarado no anúncio, “Os membros da rede serão chamados com base em sua experiência para ajudar a equipe vermelha em vários estágios do ciclo de vida de desenvolvimento de modelo e produto.”
Buscando conhecimentos diversos para avaliação abrangente
A avaliação da IA sistemas exigem uma compreensão multifacetada, abrangendo vários domínios e perspectivas diversas. A OpenAI está convidando ativamente inscrições de especialistas de todo o mundo, enfatizando a diversidade geográfica e de domínio em seu processo de seleção. Os campos de interesse abrangem uma ampla gama, desde ciência cognitiva e ciência da computação até saúde. , direito e até mesmo linguística.
A abordagem da OpenAI sugere um compromisso de capturar uma visão holística dos riscos, preconceitos e oportunidades da IA. A empresa não está apenas limitando seu apelo aos pesquisadores tradicionais de IA, mas também está procurando especialistas de diversas disciplinas, indicando uma estratégia multidisciplinar.
Além disso, a OpenAI destacou que todos os membros da Red Teaming Network serão recompensados pelas suas contribuições. Embora os detalhes exatos da compensação permaneçam não divulgados, a empresa mencionou que os membros podem precisar assinar Acordos de Não Divulgação (NDAs), e suas pesquisas poderiam ser publicadas.
