A utilização de inteligência artificial (IA) em processos produtivos tem se tornado uma tendência crescente, oferecendo oportunidades para aumentar a eficiência, reduzir custos e automatizar tarefas em diferentes setores. Na gestão empresarial, a aplicação da IA vem sendo explorada em atividades complexas, como análise de contratos, que demandam precisão e agilidade. Este trabalho teve como objetivo avaliar a eficácia da aplicação de IA no contexto de análise de contratos, com foco em dois aspectos principais: a redução do tempo de análise e o impacto na proporção de inconsistências. Para tanto, foi realizado um teste A/B para avaliar o impacto da utilização da IA na análise de contratos. Foram coletados dados ao longo de duas semanas, abrangendo 53 análises de contratos para cada grupo (controle e intervenção), e submetidos a métodos estatísticos, como regressão linear e multivariada. Os resultados evidenciaram que a utilização da IA foi eficiente na redução em 4 minutos do tempo necessário para concluir as análises. Contudo, também foi observado um aumento de 36% na proporção de inconsistências no grupo de intervenção, comprometendo a qualidade e a precisão do trabalho. Assim, embora a IA apresente vantagens em termos de velocidade, sua aplicação requer melhorias substanciais para assegurar a confiabilidade em tarefas críticas, como a análise contratual. Entre as possíveis justificativas para esses resultados, destacam-se limitações linguísticas do modelo de IA utilizado, problemas na formulação do prompt e desafios relacionados à interpretação do idioma português, que pode não ser totalmente otimizado nos modelos LLM existentes. O estudo conclui que fatores contextuais, como turno, formação e experiência dos analistas, não influenciam significativamente o desempenho, indicando que os resultados dependem principalmente do modelo de IA. Apesar do potencial da IA para melhorar processos produtivos, sua aplicação na análise de contratos não é recomendada devido à alta taxa de inconsistências. Ressalta-se a necessidade de aprimorar a tecnologia, personalizá-la para o contexto local e combinar a agilidade da IA com a precisão requerida em processos sensíveis.