XXII Fórum Brasileiro de IA Responsável

Em 26 de junho de 2025, a Lawgorithm realizou o XXII Fórum Brasileiro de Inteligência Artificial Responsável, que deu continuidade à discussão sobre cibersegurança em modelos de linguagem com Vitor Hayashi (Doutor, Mestre e Engenheiro pela Escola Politécnica da USP) e Oscar Z. de Paiva (Pesquisador de cibersegurança no Banco Bradesco S.A). Além disso, o Professor Juliano Maranhão (FDUSP e Diretor da Associação Lawgorithm) comentou seu novo estudo “A Proteção de Dados à Luz da Inteligência Artificial Responsável”.

1. Cibersegurança e Adversarial Machine Learning

Oscar Zibordi de Paiva iniciou a primeira parte do encontro com uma recapitulação do XXI Fórum Brasileiro de Inteligência Artificial Responsável sobre Adversarial Machine Learning, enfocando:

• A evolução do tema e sua intersecção com cibersegurança.

• Classificações do NIST para ataques contra grandes modelos de linguagem (LLMs).

• Desafios específicos de segurança em modelos de IA gerativa.

• Arquitetura hipotética de aplicações baseadas em IA e possíveis vetores de ataque, como prompt injection (direto e indireto) e jailbreak attacks.

A cibersegurança em adversarial machine learning traz desafios em razão da ausência de distinção clara entre instruções, contexto e diálogo nos modelos de linguagem, o que abre vulnerabilidades. Esses desafios trazem a necessidade de revisão das estratégias tradicionais de segurança digital para ferramentas de IA.

2. Exemplos Práticos

Em seguida, Victor Hayashi apresentou diferentes categorias de ataque, como:

• Ataques Manuais: trata-se de ataques simples e acessíveis (usuários sem experiência em computação podem realizá-los), baseados em roleplay, cifragem textual e condicionamento da linguagem.

• Ataques Automatizados (Multi-agent): o uso de um LLM para construir ataques a outro LLM demonstra vulnerabilidades inclusive em modelos robustos.

Hayashi também apresentou medidas de defesa com métodos que apresentaram boa redução na taxa de sucesso de ataques, com baixo custo computacional, tais como:

• Self-reminder: reforço de instruções éticas no início e fim do prompt, com impacto positivo em reduzir ataques.

• Análise de intenção: instrução para que o modelo avalie a intenção do usuário antes de responder.

3. Proteção de Dados à Luz da Inteligência Artificial Responsável

O Prof. Juliano Maranhão comentou o estudo “A Proteção de Dados à Luz da Inteligência Artificial Responsável”, no qual apresentou os riscos de uma abordagem procedimentalista da Lei Geral de Proteção de Dados (LGPD) em face da IA.

O estudo propõe uma interpretação alternativa baseada no princípio da precaução substantiva e focada no impacto real da aplicação da IA sobre a individualidade.

Também se abordou as críticas à exigência de revisão humana de decisões automatizadas, que voltou ao debate sobre proteção de dados recentemente com o Projeto de Lei 1876/2023, que propõe alterar os art. 20 da LGPD. Os participantes do Fórum discutiram o risco de inviabilizar soluções automatizadas em diversas áreas (e.g., mobilidade urbana, marketplaces, setor bancário) com uma exigência geral de revisão humana.

Relatora: Beatriz Sousa

Caso queira saber mais sobre os principais tópicos de discussão, acesse a gravação do encontro a seguir: Acesse aqui.