O modelo tinha 94% de acurácia no conjunto de teste. Na produção, a taxa de inadimplência não prevista foi 2,8 vezes maior do que o esperado. Esse cenário se repete com frequência em equipes que adotam Random Forest sem entender o que as tecnologias subjacentes à IA realmente otimizam.
Desbalanceamento de classes ignorado
Em bases de crédito, inadimplentes representam entre 4% e 12% dos registros. Um modelo que ignora isso aprende a prever a classe majoritária e ainda assim obtém acurácia alta. A métrica correta aqui é o F1-score ponderado, não a acurácia bruta.
Vazamento de dados no pipeline
Variáveis como saldo médio dos últimos 30 dias, quando calculadas sobre toda a base antes do split, contaminam o treino com informação futura. Esse erro é silencioso e os resultados parecem excelentes até a implantação.
Interpretabilidade como parte da estratégia financeira
Análises de instrumentos financeiros regulados exigem explicabilidade. Random Forest puro não entrega isso. Combinar o modelo com SHAP values resolve parcialmente, mas adiciona 40% ao tempo de inferência — algo que precisa entrar no planejamento desde o início.
Se você já passou por uma dessas situações, o problema raramente está no algoritmo. Está na forma como o problema foi estruturado antes de qualquer linha de código.