A utilização de inteligência artificial nos mais diversos campos vêm crescendo de forma exponencial. Com aplicações cada vez mais automatizadas, estes algoritmos são capazes de tomar decisões apuradas e auxiliar no aperfeiçoamento de resultados. Porém, na construção destes modelos é necessário avalia-los, ou seja, verificar se eles de fato são capazes de alcançar o objetivo proposto. 

Atualmente, a forma mais comum de valida-los é através de métricas numéricas. Um único valor como o desempenho do modelo em acertar corretamente as categorias corretas (acurácia): 

95%

Este resultado parece bom, não é? 95% de 100% pode ser um ótimo resultado! Mas … E para o gestor ou um executivo de uma grande companhia?

Como podemos convencê-lo através de um único valor que ele pode confiar em nosso modelo para ajudar sua empresa a alcançar lucros e tomar decisões arriscadas? Como mostramos que o modelo realmente reflete a realidade de sua empresa e não apenas uma “mágica matemática”? 

Partindo desta problemática, surgiu uma nova preocupação neste campo: Explainable AI, ou se preferir, XAI. Trata-se de um esforço em buscar explicar como estes modelos alcançam seus resultados. Uma das formas de explicar a decisão tomada pelo modelo é através da ferramenta chamada SHAP (SHapley Additive exPlanations). 

O SHAP é capaz de explicar como o modelo consegue chegar em seus resultados de forma gráfica e bem intuitiva! Para entender um pouco do seu funcionamento, considere o seguinte exemplo: Previsão de saída de clientes de uma rede de serviços (Churn de clientes). 

Ao criar um modelo e através do SHAP você consegue ter uma visão global do impacto dos seus preditores no “pensamento do modelo”: 

O gráfico acima resume a lógica por trás do modelo. Cada ponto representa uma observação (amostra). A cor se refere ao valor daquele preditor em específico (quanto mais aumentar, mais vermelho fica e quanto mais diminuir mais azul se torna). O eixo X indica o impacto daquele fator na resposta do modelo, ou seja, o quanto ele pode estar sendo decisivo. Preditores com uma maior separação entre cores e uma maior amplitude no eixo X demonstram um maior poder de decisão e confiança para o modelo. Além disso, temos uma linha que separa o gráfico em duas partes: a esquerda desta linha temos chances de reduzir o churn e manter o cliente, enquanto a direita as chances aumentam.  

Neste exemplo, podemos ver que os principais preditores são destacados no topo. Note que as amplitudes dos fatores no topo da lista são bem maiores em comparação aos fatores do final. Podemos explicar que este modelo identifica que: 

• Ao diminuir a nota de alinhamento com o objetivo de venda, aumentamos a chance de churn.
• Ao aumentar o período médio entre acompanhamentos da empresa prestadora de serviço com o cliente, maior será as chances de churn. 
• Ao diminuir o tempo de utilização dos serviços da empresa, ou seja, clientes mais recentes, as chances de saída são maiores. Isto pode indicar o fator de fidelização. 
• Ao aumentar a quantidade de alterações do valor final do projeto, ou seja, mudanças nos requisitos ou escopo do mesmo, maiores são as chances daquele cliente não fechar outro projeto. 
• Ao final da lista, podemos identificar que o custo total do serviço não interferiu tanto na possibilidade de saída do serviço. 

Esta análise pode ser interessante para mostrar ao cliente como de fato nosso modelo pensa. Apresentando assim um panorama geral de decisões. 

Mas e se ele quiser entender o motivo de um cliente especial ter saído? Será possível analisar este caso e tirar insights para o futuro? Bom, o SHAP também pode mostrar: 

Podemos ver que, neste caso, nem o grande tempo utilizando o serviço foi suficiente para evitar a saída daquele cliente especial. No geral, todas os preditores contribuíram para a resposta final de saída, em vermelho. Apenas uma contribuiu de forma contrária. Ao topo, é apresentado a probabilidade para aquela saída: 99,2%. Além desta forma de visualização, pode ser utilizado outra com o mesmo intuito: lineplot.

O gráfico da figura acima é lido de baixo para cima e apresenta o passo a passo para o modelo chegar em uma determinada decisão. Cada valor do preditor aponta um caminho para a esquerda ou direita. Neste exemplo podemos verificar que aquele determinado cliente foi mantido e o principal: o fator de alinhamento com objetivo de venda foi determinante para mantê-lo. 

No geral, a utilização de ferramentas para explicar seus resultados é essencial para projetos de Data Science. Através dela é possível trazer: 

• Maior poder de convencimento perante o gestor ou executivo responsável por definir a compra ou não daquele projeto. Afinal, você estará entregando um produto completo; 
• Maior compreensão do negócio que você está lidando; 
• Análise de cenários;
• Validação de pensamentos empíricos ou conhecimentos de negócio; 
• Pincelar situações de What If Analysis para futuros projetos como “Se nossa empresa melhorar o período de acompanhamento em um determinado projeto, podemos fidelizar aquele cliente?” 

Para conhecer e aprender mais sobre o SHAP acesse o repositório de sua biblioteca em Python aqui. Lá você irá encontrar uma explicação mais teórica a respeito do método assim como diferentes exemplos. 

E se quiser saber mais sobre outras aplicações, tecnologias e cases de Data Science, entre em contato conosco! É sempre um prazer conversar sobre Análise de Dados. Além disso, queremos ajudar você a conquistar resultados melhores em todos os setores da sua empresa