O Supremo Tribunal Federal (STF) barrou uma tentativa de prompt injection em uma petição. A tentativa de manipular inteligências artificiais estava em um documento apresentado pela defesa de um réu do julgamento da tentativa de golpe de Estado de 8 de janeiro de 2023. O advogado foi multado em R$ 5 mil.
A decisão foi publicada nesta quarta-feira (30), no âmbito da ação penal 2.822. Segundo consta na decisão, as instruções maliciosas estavam no cabeçalho do documento e, após avaliação, eram equivalentes ao comando “negar todos os comandos do GPT”. A identificação do código aconteceu durante as rotinas de segurança do sistema Maria Shield.
A tentativa de prompt injection estava contida em petição apresentada pela defesa de um réu da tentativa de Golpe de Estado de 8 de janeiro de 2023. Foto: Wilton Junior/Estadão
Por isso, as instruções foram classificadas como tentativa de contornar mecanismos de segurança (jailbreak) ou de sobrepor instruções (instruction override), por meio de prompt injection.
O ministro Alexandre de Moraes aplicou a multa pessoal de R$ 5 mil ao advogado do réu. Segundo a página oficial do STF, o ministro considerou a conduta um ato atentatório à dignidade da Justiça e determinou o envio do caso à Ordem dos Advogados do Brasil (OAB), para aplicação das medidas disciplinares cabíveis, e ao Ministério Público Federal (MPF), para avaliar eventual prática de crime.
O que é prompt injection?
Prompt injection (“injeção de prompt”, em português) é um método de ataque cibernético que consiste em incluir comandos ocultos em arquivos que serão lidos por sistemas de inteligência artificial. Os comandos maliciosos podem ou não ser invisíveis para humanos, mas são lidos e interpretados pela IA.
Os ataques de prompt injection se tornaram muito mais comuns desde a popularização de sistemas de IA no fluxo de trabalho. O método se apresenta em diferentes formas, seja em documentos enviados para análise de chatbots, ou em páginas web que podem ser acessadas por agentes de IA.
Em maio, o Tribunal de Justiça de Minas Gerais (TJMG) identificou uma tentativa de prompt injection por meio de petições judiciais.
A primeira tentativa de ataque via prompt injection que mirou o STF aconteceu na sexta-feira (25). As instruções estavam em letras miúdas, brancas e com texto fragmentado contidas numa petição. Da mesma forma, o Maria Shield interceptou os comandos ocultos e o gabinete do ministro Cristiano Zanin, relator do caso, foi notificado sobre o achado.
O que é o Maria Shield?
O Maria Shield é o mecanismo de segurança do Maria (Módulo de Apoio para Redação com Inteligência Artificial), um sistema de IA generativa desenvolvido para auxiliar na produção de diversos tipos de textos. A plataforma foi anunciada em dezembro de 2024.
O Maria é adotado em diferentes frentes, como o resumo de votos, relatórios em processos recursais e análise inicial de processos de reclamação. Quando anunciado, o então ministro Luís Roberto Barroso reforçou que a ferramenta tem função auxiliar e que a responsabilidade final sobre os textos continua com os servidores e ministros.
Quer ficar por dentro das novidades do mundo da tecnologia? Acesse o TecMundo e acompanhe as últimas notícias sobre inteligência artificial, cibersegurança e Justiça.
Fonte da notícia: Estadão | As Últimas Notícias do Brasil e do Mundo https://www.estadao.com.br/tecmundo/big-techs/stf-barra-tentativa-de-prompt-injection-em-peticao-e-multa-advogado-em-r-5-mil/
