XXI Fórum Brasileiro de IA Responsável
Em 29 de maio de 2025, a Lawgorithm realizou o XXI Fórum Brasileiro de Inteligência Artificial Responsável, que teve como foco as interseções entre Inteligência Artificial (IA) e Cibersegurança. O evento reuniu especialistas do setor acadêmico, financeiro e legislativo para analisar riscos, desafios e tendências regulatórias na integração entre IA e segurança digital.
O Fórum contou com as participações de Oscar Zibordi de Paiva (pesquisador de cibersegurança do Banco Bradesco S.A.), Victor Hayashi (Doutor, Mestre e Engenheiro pela Escola Politécnica da USP) e Stefani Vogel (Chefe de Gabinete na Câmara dos Deputados), com moderação de Juliano Maranhão.
Vulnerabilidades e desafios técnicos de segurança na IA
Na primeira parte do evento, Oscar Zibordi de Paiva apresentou um panorama técnico e histórico dos riscos de segurança associados à Inteligência Artificial, especialmente aos modelos de machine learning e linguagem natural.
Segundo Oscar, a IA introduz novas superfícies de ataque ainda não plenamente contempladas pelas abordagens tradicionais de cibersegurança. Como os modelos aprendem a partir de dados, e não por programação explícita, técnicas clássicas de segurança — como isolamento de funções, verificação formal ou testes estáticos — se tornam ineficazes ou impraticáveis.
Perturbação adversarial: alterações mínimas que induzem erro na classificação de imagens ou detecção de phishing;
Evasão de antivírus: adaptação de malwares para enganar modelos de detecção;
Prompt injection e jailbreaks: manipulação de entradas em assistentes baseados em LLMs;
Envenenamento de dados de treinamento: inserção de dados maliciosos capazes de alterar o comportamento do modelo.
Oscar destacou a publicação da segunda versão da taxonomia de ataques e mitigações do NIST, em 2024, como referência importante para sistematizar a pesquisa científica sobre o tema. No entanto, alertou que ainda falta um arcabouço teórico robusto para lidar com os riscos emergentes.
Ao tratar das arquiteturas baseadas em Retrieval-Augmented Generation (RAG), alertou que a inclusão de documentos sensíveis nos fluxos de geração pode abrir brechas críticas, sobretudo quando os modelos não distinguem entre instruções e contexto — o que facilita ataques como prompt injection.
Aplicações práticas e riscos emergentes nos sistemas baseados em linguagem
Victor Hayashi (USP) aprofundou a análise apresentada por Oscar, trazendo uma perspectiva aplicada sobre vulnerabilidades em sistemas de IA, especialmente os baseados em modelos de linguagem natural integrados a fluxos de informação externos, como os sistemas RAG (Retrieval-Augmented Generation).
Apontou que a arquitetura RAG é cada vez mais comum em aplicações reais, inclusive no setor jurídico e empresarial, por permitir que o modelo consulte bases de dados específicas (como PDFs, sites institucionais ou arquivos internos) antes de gerar uma resposta. No entanto, essa estrutura aumenta significativamente a exposição a falhas de segurança e manipulações.
Victor demonstrou, com exemplos práticos, como alterações sutis nos dados podem comprometer a confiabilidade da IA:
Em uma demonstração em sala, ao modificar apenas uma linha em um documento PDF de cinco páginas, o sistema passou a identificar incorretamente o participante de uma reunião — evidenciando envenenamento sutil de dados;
Sistemas RAG podem ser alimentados com documentos que contêm informações ocultas ou malformadas (como metadados, camadas invisíveis de texto ou instruções embutidas), que os modelos conseguem interpretar e replicar em suas respostas;
Mesmo documentos aparentemente íntegros podem conter dados ocultos — como camadas invisíveis de texto ou metadados — que afetam o comportamento do sistema de forma imprevisível — o que representa um risco em setores regulados ou críticos.
Ressaltou que a maioria das falhas não decorre de bugs no modelo, mas da forma como os dados e os prompts são organizados, processados e interpretados. Por isso, insistiu na importância de considerar o sistema como um todo — e não apenas o modelo — na análise de riscos e na construção de salvaguardas.
Chamou atenção para os seguintes pontos:
A fronteira entre “dado”, “instrução” e “contexto” é fluida em modelos de linguagem, o que facilita ataques como prompt injection;
Modelos de código aberto utilizados em ambientes produtivos devem passar por testes sistemáticos de robustez e simulações adversariais;
É essencial definir modelos de ameaça verossímeis, adaptados ao uso prático da IA, para orientar políticas de segurança e estratégias regulatórias.
Concluiu afirmando que a integridade dos sistemas — sua capacidade de produzir respostas corretas, seguras e auditáveis — tende a ser mais crítica do que a simples proteção contra vazamentos. A integridade operacional da IA deve, portanto, ocupar lugar central nas discussões sobre segurança e regulação.
A insuficiência dos marcos normativos e os desafios da governança
Juliano Maranhão destacou que, embora o PL 2338/2023 preveja medidas de governança, há pouca concretude sobre cibersegurança na proposta. A legislação tende a focar apenas em privacidade e confidencialidade, mas os exemplos apresentados mostram que a integridade dos sistemas — ou seja, sua resistência a manipulações — é um aspecto ainda mais crítico.
Oscar reforçou esse ponto, argumentando que a integridade funcional é a principal garantia de segurança na era da IA, especialmente à medida que os sistemas passam a controlar aplicações críticas e operações automatizadas.
Panorama político da tramitação do PL 2338/2023
Na segunda parte do fórum, Stefani Vogel ofereceu uma análise política detalhada sobre os caminhos da tramitação do PL 2338/2023 na Câmara dos Deputados.
Ela explicou que, ao contrário do Senado, a Câmara é uma casa marcada por pragmatismo político, econômico e cultural:
Pragmatismo político: temas complexos avançam apenas se forem neutros ou vantajosos eleitoralmente. Há resistência a propostas que pareçam “elitistas” ou “censura”.
Pragmatismo econômico: o foco é preservar a inovação nacional, evitar encargos para empresas e minimizar riscos de desemprego.
Pragmatismo cultural: valores como soberania, liberdade e família influenciam as votações, tornando qualquer debate sobre moderação de conteúdo ou sistemas de vigilância especialmente sensível.
A assessora também pontuou os principais méritos do projeto:
Proibição de sistemas de risco inaceitável, como scoring social e armas autônomas.
Previsão de direitos dos usuários, como explicação, contestação e revisão humana.
Adoção de regras proporcionais ao porte e risco da aplicação, para evitar penalizar startups.
Indicação da ANPD como órgão coordenador, embora essa escolha enfrente resistência política.
Stefani alertou para riscos de desidratação do texto: retirada de dispositivos protetivos, mitigação de obrigações para segurança pública e redução do papel da ANPD no Sistema Nacional de Governança da IA. Também recomendou atenção ao artigo 37, sobre inversão do ônus da prova, que pode ser excessivamente oneroso para pequenos desenvolvedores.
O cronograma prevê que o parecer do relator seja apresentado até 25 de novembro de 2025. Haverá audiências públicas temáticas e seminários regionais, mas existe o risco de obstrução ou esvaziamento dos debates, sobretudo por se tratar de ano pré-eleitoral.
Conclusão
O XXI Fórum Brasileiro de IA Responsável trouxe reflexões fundamentais sobre os limites da legislação vigente frente à nova realidade da IA, destacando que a segurança dos sistemas vai além da proteção de dados: envolve riscos concretos de manipulação, vazamento e falhas sistêmicas.
A combinação entre exposição técnica e análise política mostrou que os desafios da regulação da IA são tanto tecnológicos quanto institucionais. A tramitação do PL 2338/2023 dependerá da capacidade de comunicação com diferentes grupos parlamentares e da articulação multissetorial para preservar os pilares da proposta, garantindo um ambiente seguro, ético e inovador.
Relator: Mateus Lamonica
Caso queira saber mais sobre os principais tópicos de discussão, acesse a gravação do encontro a seguir:
Explanação de Vitor Hayashi e Oscar Z. de Paiva: Acesse aqui.
Explanação de Stefani Vogel: Acesse aqui.