A ascensão das inteligências artificiais generativas vem mudando a forma como desenvolvemos software. De sugestões de código em tempo real a agentes capazes de escrever testes, corrigir bugs e revisar PRs, a promessa de automação aumenta, mas com ressalvas. Quando o assunto é IA na engenharia de qualidade de software, os avanços impressionam, mas ainda esbarram em limitações críticas.

Neste artigo, vamos explorar o que os estudos recentes revelam sobre o desempenho das LLMs (Large Language Models) em tarefas reais de engenharia, os principais erros cometidos por essas ferramentas, como elas vêm sendo usadas na prática por desenvolvedores e qual o papel dos profissionais de QA diante desse cenário.

Até onde a IA pode ir no desenvolvimento de software?

Em maio de 2025, a OpenAI apresentou ao mundo o Codex, um agente de codificação que reacendeu debates sobre a substituição de programadores humanos. Capaz de realizar múltiplas tarefas, como implementar funcionalidades, responder perguntas sobre o código e executar testes, o Codex foi apresentado como um assistente quase autônomo para engenheiros de software.

Na mesma linha, a Anthropic lançou novidades para o Claude Code, também voltado para desenvolvimento. Ambas as ferramentas mostram o potencial crescente da IA na engenharia de qualidade de software, mas também evidenciam os riscos quando não há supervisão humana adequada.

As IAs acertam ou erram mais do que ajudam?

Para entender melhor as capacidades (e os limites) dessas ferramentas, a própria OpenAI conduziu o estudo SWE-Lancer, com o objetivo de avaliar se LLMs de ponta - GPT-4o, GPT-o1 e Claude 3.5 - seriam capazes de resolver 1.488 tarefas reais de engenharia de software, com valor total simulado de US$ 1 milhão.

Essas tarefas foram divididas em:

• IC SWE Tasks: correção de bugs e implementação de funcionalidades;
  
• SWE Manager Tasks: tarefas de escolha técnica e priorização, simulando o papel de gerência técnica.

As soluções propostas pelas LLMs foram avaliadas com testes E2E (end-to-end) e validadas por engenheiros experientes. Os resultados mais significativos foram:

• Claude 3.5: o melhor desempenho, com 26,2% de sucesso nas tarefas técnicas e 44,9% nas tarefas gerenciais;
  
• GPT-4o: o pior desempenho técnico, com apenas 8% de acerto.

Esses dados mostram que, embora úteis para acelerar partes do processo, as LLMs ainda não conseguem entregar qualidade de forma autônoma. Seus erros podem ser graves e muitas vezes silenciosos, o que amplia a responsabilidade dos QAs e engenheiros humanos.

Quais erros as LLMs mais cometem na prática?

Durante o estudo SWE-Lancer, um caso chamou a atenção. Uma tarefa de confiabilidade avaliava um bug de dupla chamada de API. Os modelos, como o GPT-4o, “corrigiram” o problema simplesmente removendo uma das chamadas, porém sem verificar os efeitos colaterais disso em outros fluxos do sistema.

O resultado? Um bug “corrigido” que quebrou funcionalidades críticas em segundo plano.

Esse tipo de falha revela uma limitação fundamental da IA na engenharia de qualidade de software: a falta de compreensão contextual profunda sobre a interdependência dos componentes. As IAs muitas vezes atuam com uma visão local, tentando “passar nos testes” sem de fato resolver o problema corretamente.

É aí que entra o papel indispensável dos testes E2E e da revisão humana.

Como mitigar esses riscos ao usar IA?

Uma abordagem promissora é a personalização das LLMs. Em vez de usar IAs genéricas, empresas estão treinando modelos ajustados ao seu próprio contexto, com conhecimento da base de código, regras de negócio e padrões internos.

Além disso, ganha força a filosofia dos centauros digitais: a combinação entre máquina e humano. A IA atua como motor de produtividade, enquanto os profissionais supervisionam, interpretam e ajustam os caminhos. Essa abordagem colaborativa é, hoje, a mais segura e produtiva.

Como os desenvolvedores estão usando a IA?

Segundo a pesquisa Stack Overflow 2024, 44% dos desenvolvedores já usam IA todos os dias. O impacto é visível: segundo a Microsoft Research, o tempo gasto em codificação caiu 55% com o uso da IA.

Mas há um paradoxo: o tempo gasto em revisão e correção aumentou.

Essa constatação reforça uma ideia central: mesmo em tarefas rotineiras, a IA na engenharia de qualidade de software precisa ser acompanhada de perto. E é aí que os profissionais de QA ganham novo protagonismo, não como fiscais de máquina, mas como especialistas que sabem avaliar o que a IA ainda não entende.

Qual o impacto da IA no papel dos QAs?

Com a adoção crescente de ferramentas generativas, o trabalho de QA deixou de ser meramente operacional para assumir um papel estratégico. Em vez de escrever testes repetitivos, os QAs estão agora:

• Avaliando sugestões e correções feitas por LLMs;
  
• Garantindo que as IAs não introduzam falhas sutis;
  
• Criando cenários de teste mais complexos (E2E, exploratórios);
  
• Atuando como curadores de qualidade no ciclo contínuo de desenvolvimento.

Isso tudo exige um novo conjunto de habilidades, incluindo conhecimento sobre como as IAs funcionam, seus pontos cegos e suas limitações técnicas e éticas.

IA substitui ou complementa a engenharia de qualidade?

Na prática, a IA ainda está longe de substituir engenheiros de software e QAs. O que ela faz - e muito bem - é potencializar a produtividade. Ela sugere, automatiza partes do processo, testa padrões conhecidos.

Mas decisões críticas, interpretações ambíguas e contextos complexos continuam sendo território humano.

A própria metodologia do estudo SWE-Lancer prova isso. Os testes que validaram as soluções foram criados e analisados por engenheiros experientes. Sem essa supervisão, bugs “resolvidos” poderiam significar sistemas quebrados.

Qual é o futuro da IA na engenharia de qualidade de software?

As tendências apontam para uma evolução constante dos agentes de IA. Modelos mais especializados, contextualizados e conectados a ambientes reais devem surgir, e com eles, novas possibilidades.

Mas enquanto isso não acontece, a melhor estratégia é clara: colaboração entre humanos e máquinas.

A IA acelera o trabalho. Os engenheiros e QAs asseguram a qualidade. E o resultado dessa parceria são sistemas mais robustos, com menos falhas e mais valor entregue ao usuário final.

IA na engenharia de qualidade de software: produtividade com responsabilidade

A IA na engenharia de qualidade de software está transformando a forma como desenvolvemos, testamos e entregamos aplicações. Mas ainda exige um olhar técnico, criterioso e estratégico. Como mostram os estudos, mesmo os melhores modelos cometem erros que só engenheiros experientes são capazes de detectar.

Portanto, a qualidade não pode ser terceirizada para uma IA. Ela é resultado de colaboração, contexto e pensamento crítico. E é aí que entra a força dos profissionais de QA, não como coadjuvantes, mas como protagonistas de uma nova era na engenharia de software.

Perguntas frequentes sobre IA na engenharia de qualidade de software

1. A IA pode substituir engenheiros de qualidade de software?
Não. Apesar dos avanços, a IA ainda comete erros graves em tarefas complexas. Ela pode ajudar em tarefas repetitivas, mas a supervisão humana é essencial para garantir a qualidade final do software.

2. Quais são os principais erros que as IAs cometem na engenharia de software?
As LLMs geralmente falham ao considerar o contexto completo de sistemas complexos. Elas podem “corrigir” bugs de forma superficial, ignorando efeitos colaterais que quebram outras partes do sistema.

3. Como as empresas podem usar IA com segurança na engenharia de qualidade?
A melhor abordagem é usar a IA como assistente, nunca como decisor final. Personalizar os modelos com contexto real da empresa e manter validações por engenheiros experientes é essencial para minimizar riscos.

4. A IA melhora ou atrapalha a produtividade dos desenvolvedores?
Ela melhora a produtividade em tarefas de codificação, mas exige mais tempo na revisão e validação. Ou seja, acelera o trabalho, mas aumenta a responsabilidade sobre a qualidade.

5. Qual é o papel do QA na era da IA?
O papel do QA é cada vez mais estratégico. Eles garantem que as decisões da IA sejam confiáveis, criam testes mais robustos e atuam como curadores de qualidade ao longo do ciclo de desenvolvimento.