A Microsoft tem revelou um conjunto de novos recursos no Azure AI Studio, com o objetivo de reforçar a segurança e a precisão dos aplicativos generativos de IA desenvolvidos em sua plataforma de nuvem. Essas melhorias, que estão em vários estágios de disponibilidade, são projetadas para lidar com formas comuns de uso indevido de IA, incluindo alucinações, envenenamento de entrada e ataques de injeção imediata.
Prevenção de ataques de injeção imediata
Uma atualização importante é a introdução do Prompt Shields, agora disponível em visualização pública. Esse recurso foi projetado para impedir ataques diretos e indiretos de injeção imediata, que podem levar a resultados maliciosos de sistemas de IA. Os ataques diretos, também conhecidos como ataques de jailbreak, envolvem alimentar o sistema de IA com um prompt que faz com que ele atue fora do design pretendido. Os ataques indiretos manipulam os dados de entrada da IA, enganando o sistema para que aceite conteúdo não confiável como comandos válidos. Os Prompt Shields visam detectar e bloquear esses ataques em tempo real, integrando-se perfeitamente aos filtros de conteúdo do Azure OpenAI Service e ao Azure AI Content Safety para uma defesa abrangente.
Combate a alucinações com detecção de aterramento
Outra adição crítica é o recurso de detecção de aterramento, que identifica e mitiga alucinações baseadas em texto nos resultados do modelo. As alucinações nos resultados da IA, em que a IA gera informações infundadas ou irrelevantes, representam um desafio significativo à fiabilidade e à adoção de ferramentas de IA generativas. A detecção de fundamentação da Microsoft oferece aos desenvolvedores múltiplas opções para lidar com essas afirmações infundadas, aumentando a credibilidade e a utilidade do conteúdo gerado por IA. A disponibilidade deste recurso, já disponível ao público ou ainda em pré-lançamento, não foi especificada pela Microsoft.
[conteúdo incorporado]
Avaliações automatizadas de segurança e monitoramento de riscos
Para apoiar ainda mais os desenvolvedores na criação aplicativos de IA seguros, a Microsoft apresenta avaliações de segurança automatizadas. Este recurso, agora em versão prévia pública, emprega IA para testar aplicativos generativos de IA para possíveis riscos de conteúdo e segurança, aumentando os esforços manuais de red teaming. Além disso, a capacidade de monitoramento de riscos e segurança fornece aos desenvolvedores insights sobre o uso de seus aplicativos de IA, incluindo métricas sobre solicitações bloqueadas e a identificação de usuários potencialmente envolvidos em uso indevido. Este recurso visa permitir que os desenvolvedores tomem medidas proativas com base nos termos de uso de seus produtos.
Por último, a Microsoft planeja lançar em breve modelos de mensagens do sistema de segurança no Azure AI Studio. Desenvolvidos para mitigar a geração e o uso indevido de conteúdo prejudicial, esses modelos ajudarão os desenvolvedores a criar mensagens de sistema precisas que orientam os sistemas de IA em direção aos comportamentos desejados, melhorando assim o desempenho geral do sistema.
