Riscos do código gerado por IA, alucinações, segurança e ética

Do zero

Código gerado por IA é como o rascunho de um estagiário muito rápido e muito confiante: em segundos aparece algo que parece pronto, bem formatado e convincente. Às vezes está ótimo. Às vezes chama uma função que não existe, usa uma biblioteca inventada, esquece de validar uma entrada ou copia um padrão inseguro. E ele não avisa quando não sabe.

Por isso a regra de ouro é: quem aprova o código responde por ele, venha de onde vier. O código da IA passa pelos mesmos portões que o de qualquer pessoa (testes, revisão, análise de segurança), e alguns riscos são novos:

• Alucinação: inventar APIs, parâmetros, pacotes ou fatos com aparência de verdade.
• Segurança: código vulnerável, segredos expostos, e agentes com permissões demais, que podem ser manipulados por injeção de prompt.
• Privacidade: enviar dados pessoais ou sigilosos a um serviço externo.
• Propriedade intelectual: trechos muito parecidos com código de licença restritiva.
• Ética: transparência sobre o uso de IA, responsabilidade humana e cuidado com vieses.

Frase para guardar: código de IA é rascunho até passar por teste, revisão e análise; a responsabilidade é de quem aprova.

Em 1 minuto

• Validar sempre: testes automatizados, compilação e verificação de tipos, linters, análise estática de segurança (SAST) e de dependências (SCA), e revisão humana no pull request.
• Alucinação de pacote: o modelo sugere uma biblioteca que não existe; um atacante pode publicá-la com esse nome e código malicioso. Confira se o pacote existe, é mantido e confiável.
• Segredos e dados: não colocar senhas, tokens nem dados pessoais em prompts ou em ferramentas não autorizadas; usar dados fictícios ou anonimizados.
• Agentes: menor privilégio, aprovação humana para ações de risco e conteúdo externo tratado como dado, nunca como ordem.
• Governança: seguir a política institucional de uso de IA (no TCE-GO, a Resolução Administrativa nº 24/2024 trata do uso de ferramentas de IA).

Exemplo concreto: o pull request gerado por IA

Um agente entregou uma função que importa a planilha de folha enviada pelas prefeituras. Na revisão, a equipe encontrou:

Nenhum desses problemas seria descoberto se a equipe aceitasse o código “porque a IA fez”.

Comparação: risco, sinal e controle

Ética no desenvolvimento com IA

• Transparência: declarar quando um entregável usou IA, como pede a política institucional.
• Responsabilidade humana: uma pessoa responde pela decisão e pela entrega; “o modelo sugeriu” não é justificativa.
• Vieses: quando o código decide sobre pessoas ou entes (quem fiscalizar primeiro, quem recebe alerta), os critérios precisam ser explicáveis, testados e revisados.

Exemplo: um script gerado por IA que prioriza fiscalizações de municípios precisa de critérios documentados e revisados pela equipe de auditoria, não só da ordem que o modelo propôs.

Qualidade: como medir o código gerado

• Correção funcional: os testes passam? Cobrem erros e limites, não só o caso feliz?
• Segurança: a análise estática e a de dependências estão limpas?
• Manutenibilidade: o código é legível, segue o padrão do projeto, sem duplicação?
• Aderência ao pedido: resolve o problema certo, sem mudanças fora do escopo?

Uma boa prática é pedir à IA que escreva os testes antes e conferir se eles capturam o requisito; testes gerados junto com o código tendem a confirmar o que o próprio código faz, inclusive os erros.

Como a FCC cobra

• Reconhecer alucinação num cenário (API, pacote ou fato inventado).
• Controles de qualidade e segurança para código gerado.
• Riscos de privacidade (dados pessoais em prompts) e de propriedade intelectual.
• Responsabilidade humana e governança do uso de IA.

Pegadinhas

Explique com suas palavras

Explique a um gestor por que um código gerado por IA, que compila e parece correto, ainda precisa de testes e revisão, citando dois riscos concretos.

1. Escreva sem olhar a lição, com frases curtas e um exemplo seu.
2. Onde travar ou precisar de jargão, há uma lacuna: releia só essa parte.
3. Compare com a explicação-modelo e reescreva o que faltou.

Sua explicação

Fica salva neste navegador.

Comparar com uma explicação-modelo

Compilar só mostra que o código está escrito numa forma que o computador aceita. Não mostra que ele faz a coisa certa nem que é seguro. A IA escreve com confiança mesmo quando inventa: pode usar uma biblioteca que não existe, e um atacante pode ter publicado uma falsa com aquele nome. Também pode montar uma consulta ao banco de um jeito que permite injeção de comandos.

Por isso o código passa pelos mesmos portões de sempre: testes automatizados que verificam o comportamento, ferramentas que procuram falhas de segurança e uma pessoa que lê e aprova. Quem aprova responde pelo código, venha ele da IA ou de alguém da equipe.

Teste-se

Mais duas questões deste tópico estão em Questões.

Flashcards gerados

Ligação com o estudo de caso

O espelho-modelo do guia pede “controles no pipeline de CI/CD para o código produzido pelo agente de IA”. Responda com: revisão humana obrigatória no pull request; testes automatizados como portão; SAST, análise de dependências e varredura de segredos; verificação de que os pacotes existem e são confiáveis; deploy bloqueado se algo falhar; e conformidade com a política de uso de IA do Tribunal.

Fontes da lição

• Edital nº 01/2026, Anexo II, Engenharia de Software Assistida por IA e Sistemas Agentivos (fontes/edital-01-2026.txt).
• Edital nº 02/2026 (retificação), que inclui a Resolução Administrativa nº 24/2024 sobre o uso de ferramentas de IA (fontes/edital-02-2026-retificacao.txt).
• OWASP Top 10:2025, A03 e A05 (fontes/owasp-top10-2025/owasp-top10-2025-pt-BR.md).
• Guia do site, questão-modelo do estudo de caso (docs/guia.md).