Vladimir Nunan é CEO da Eduvem, uma startup premiada com mais de 20 reconhecimentos nacionais e internacionais. Fora do mundo corporativo, é um apaixonado por esportes e desafios, dedicando-se ao triatlo e à busca contínua pela superação. Nesta coluna, escreve sobre tecnologia e suas diversidades
Imagine o seguinte cenário: você possui uma startup. Sua equipe realiza tarefas rotineiras como escrever e rodar código, responder mensagens no chat corporativo, organizar arquivos na nuvem e preencher planilhas administrativas. Agora, imagine substituir toda essa operação humana por um único agente de inteligência artificial, operando de forma autônoma, sem supervisão direta.
Pode parecer ficção científica, mas essa foi justamente a proposta do novo estudo publicado pela The Agent Company, que desenvolveu um benchmark inédito para avaliar se agentes autônomos de IA são realmente capazes de atuar como funcionários em ambientes corporativos realistas. Os resultados, embora promissores, mostram que ainda existem limitações importantes.
O experimento foi elaborado com foco na realidade prática. Em vez de simular tarefas em ambientes controlados, os pesquisadores criaram um ecossistema corporativo completo, utilizando ferramentas de código aberto amplamente utilizadas por empresas.
As ferramentas utilizadas incluíram:
Dentro desse ambiente, cada agente de IA foi desafiado a realizar tarefas variadas, como escrever e corrigir código, preencher e formatar planilhas, navegar por menus e arquivos, e manter conversas com colegas simulados.
A simulação foi pensada para refletir com fidelidade a rotina de trabalho real de uma equipe de software, exigindo da IA habilidades que vão além de comandos simples e exigem tomada de decisão adaptativa e contextualizada.
O modelo com melhor desempenho foi o Claude 3.5 Sonnet, da Anthropic. Ele conseguiu concluir 24% das tarefas de forma autônoma, sem ajuda humana. Quando considerados os créditos parciais, ou seja, tarefas parcialmente resolvidas, a pontuação subiu para 34,4%.
Embora esses números representem um avanço em relação ao que se via há alguns anos, eles ainda estão longe da performance esperada para que um agente de IA substitua integralmente um colaborador humano.
1. Comunicação interpessoal no ambiente de trabalho: as interações no RocketChat foram um desafio. A IA apresentou dificuldades para compreender nuances, inferências contextuais, e a informalidade comum entre colegas. Esses aspectos, naturais para humanos, ainda confundem os modelos atuais, que não dominam a linguagem social com a mesma fluidez.
2. Navegação em interfaces de sistemas: ao usar softwares como o ownCloud, a IA demonstrou dificuldades com a estrutura de menus, botões ocultos e janelas sobrepostas. Ambientes visuais que exigem interação gráfica contínua ainda representam um obstáculo significativo.
3. Tarefas administrativas: atividades como preencher formulários, gerenciar planilhas e revisar documentos pareceram complexas para os agentes. Essas tarefas, comuns no dia a dia de um escritório, exigem interpretação precisa de contexto e organização visual, elementos que desafiam os modelos atuais.
E os pontos fortes? Programação de software: neste aspecto, os agentes de IA tiveram um desempenho relativamente melhor. Conseguiram escrever, ajustar e executar trechos de código com precisão. Isso se deve, em grande parte, à vasta quantidade de dados de programação disponível nos datasets de treinamento, como repositórios do GitHub e fóruns especializados.
Pode parecer contraditório, mas há razões claras para esse fenômeno. A primeira está relacionada à origem dos dados que treinam os LLMs. Conteúdos técnicos, como códigos e discussões de software, são amplamente disponíveis e públicos. Já documentos administrativos, como faturas, planilhas internas e fluxos de trabalho de RH, são geralmente privados e raros nos conjuntos de dados.
A segunda razão é a diferença entre linguagens formais e contextos informais. A programação possui uma estrutura rígida e regras claras, enquanto tarefas administrativas exigem adaptação, entendimento subjetivo e flexibilidade interpretativa, características ainda limitadas em modelos de IA.
Sim, pode. Mas com algumas ressalvas importantes. O estudo aponta que os agentes de IA são úteis principalmente em tarefas estruturadas e repetitivas. Nessas situações, eles podem acelerar processos, reduzir erros e liberar tempo para que os profissionais se concentrem em atividades mais complexas.
No entanto, ainda não podemos contar com agentes que atuem de forma completamente autônoma. A figura de um "funcionário IA", que entra na empresa e realiza tudo sozinho, está mais próxima da ficção do que da realidade atual.
Apesar das limitações, existem várias aplicações em que a IA já está sendo usada com sucesso:
O estudo levanta pontos cruciais para o debate sobre o futuro das profissões. A automação total depende de diversos fatores além da IA em si. É necessário repensar processos, integrar melhor os sistemas internos das empresas com os agentes e criar ambientes de trabalho que favoreçam a colaboração entre humanos e máquinas.
O conceito de “copiloto inteligente” é mais realista e eficaz no curto prazo. A IA pode sugerir, executar tarefas repetitivas e oferecer apoio contínuo, desde que haja supervisão e ajustes humanos.
Uma das principais barreiras para a plena autonomia dos agentes é a capacidade de compreender contexto. Para navegar de forma eficaz em ambientes reais, a IA precisa:
Essas habilidades exigem mais do que modelos estatísticos baseados em texto. Requerem avanços em arquitetura, treinamento com dados contextualizados e ambientes simulados mais sofisticados.
O benchmark criado pela The Agent Company representa um avanço importante na avaliação do desempenho prático de agentes de IA. Ele abandona testes teóricos e parte para uma simulação próxima da realidade, com ferramentas corporativas reais e tarefas que refletem o cotidiano das empresas.
O principal aprendizado é que a IA não está pronta para operar sozinha, mas já é extremamente útil como parceira de produtividade. Ao invés de buscar a substituição humana, o foco mais promissor é na construção de ecossistemas híbridos, nos quais humanos e IAs trabalham juntos, cada um aproveitando suas forças.
Você contrataria hoje um agente de IA para sua equipe? Em que tarefas ele poderia atuar de forma eficiente? Em quais áreas ainda seria necessário o olhar humano?
Essas perguntas nos conduzem a uma conclusão estratégica: a IA não vai eliminar empregos, mas vai transformar profundamente as funções e exigências do mercado. A preparação deve ser voltada para a adaptação, a formação de equipes híbridas e o redesenho de processos com inteligência artificial integrada.
Ôpa! Tenho mais informações pra você. Acesse minha página e clique no sino para receber notificações.
