“O banco é uma instituição que nos empresta dinheiro, desde que apresentemos provas de que não precisamos de dinheiro.” Esta brincadeira feita por Aparício Torelly, um dos principais humoristas brasileiros da primeira metade do século 20, surfa num dos temas mais espinhosos para os clientes dos serviços bancários: os critérios, objetivos e subjetivos, que guiam o processo de análise para concessão de crédito. É tentador imaginar qual seria a piada que Torelly sacaria do bolso do colete se soubesse que, na primeira metade do século 21, seriam os algoritmos de Inteligência Artificial (IA) que decidem, muitas vezes, quem é merecedor de receber um empréstimo bancário, embora os motivos que embasam estas decisões continuem pouco plaros.
Os algoritmos de IA estão por todo lugar, embutidos em aplicativos, sites, redes sociais e até nos sistemas de atendimento telefônico. Um relatório divulgado este ano pela IBM, que analisou mais de 7.500 operações de negócios em 19 países, entre eles o Brasil, encontrou um índice de 35% de uso de aplicações de IA entre os entrevistados, um crescimento de 4% em relação ao ano anterior.
Parte expressiva das atribuições dos algoritmos de IA envolve a tomada de decisões para nós, os usuários. Eles escolhem o trajeto a ser seguido por um motorista que deseja evitar o trânsito, recomendam novas músicas que podem interessar aos assinantes dos serviços de música por streaming e distinguem objetos de pessoas que estão posando diante de um celular, facilitando o procedimento de tirar fotos com o aparelho. Por trás de muitas destas habilidades está o conceito de aprendizagem de máquina, que denomina o processo de desenvolvimento de competência do algoritmo por meio da análise de bancos de dados formados por registros anteriores desta atividade.
Os modelos bem-sucedidos de IA que usam as técnicas de aprendizagem de máquina dependem de ter acesso a um bom volume de dados para aumentar a precisão de suas decisões. E nunca na história tantos dados foram produzidos e armazenados. O processamento de volumes massivos de dados permite à máquina ser treinada para identificar padrões e fazer previsões, um conceito chamado deep learning (aprendizado em profundidade). Apenas a título de exemplo, o serviço de música por streaming Spotify tem à sua disposição dados sobre histórico de escolhas, playlists e músicas favoritas de mais de 400 milhões de usuários.
A caixa-preta e a tomada de decisões
Porém, embora o desenvolvimento dos modelos de IA e a sua expansão tenham ocorrido de forma acelerada nos últimos anos, o mesmo não se deu no quesito transparência. Em muitos casos, os próprios desenvolvedores que criaram os modelos não são capazes de explicar as conclusões que embasam as ações dos programas. Por isso, os desenvolvedores apelidaram este modelo de IA de “caixa-preta”.
Conhecer os elementos que fundamentam as decisões de um algoritmo pode ser importante por várias razões. Por exemplo, num caso em que o algoritmo esteja cometendo erros. Se o erro estiver ocorrendo, por exemplo, na hora de recomendar músicas novas ao usuário de um programa de streaming musical, pode não ser algo tão grave. Porém, talvez o cliente que teve o pedido de crédito negado devesse ter o direito de saber o motivo da recusa. É possível que, além dos registros de seus dados bancários e do seu histórico de pagamento, a máquina esteja levando em consideração informações como o local de nascimento, o endereço da residência ou a cor da pele? Essa falta de transparência, que é uma das limitações do modelo de IA “caixa-preta”, cada vez mais é vista como um obstáculo à expansão do uso da tecnologia. “A maior parte das empresas ainda não deu passos importantes, tais como reduzir vieses involuntários, para assegurar que a IA que usam seja responsável e de confiança”, diz o relatório da IBM.
Para atacar essas lacunas, pesquisadores vêm desenvolvendo nos últimos anos um conjunto de técnicas e métodos chamados Inteligência Artificial Explicável (XAI). De forma geral, a XAI tem por objetivo dar transparência a esses modelos de aprendizado de máquina e, dessa forma, evitar vieses e aumentar a confiança nos resultados. “Na verdade, o desenvolvimento da XAI tem relação com questões humanas e éticas presentes na sociedade e que agora estão sendo colocadas para o mundo da máquina e da Inteligência Artificial”, diz o engenheiro Alexandre Simões, livre-docente em robótica e Inteligência Artificial e professor do Instituto de Ciência e Tecnologia da Unesp, câmpus de Sorocaba.
Simões diz que o aprendizado de máquina colaborou para um intenso desenvolvimento da robótica nos últimos anos. Basta ver os vídeos publicados pela Boston Dynamics, uma spin-off do MIT. Contudo, argumenta, o fato de que ainda não encontremos grande número de robôs exercendo atividades cotidianas se deve menos a dificuldades mecânicas ou físicas, e mais a problemas envolvendo confiança e transparência na capacidade das máquinas para tomarem decisões. “Se um dia houver um robô capaz de fazer a segurança da minha casa, vou precisar ter confiança de que ele é capaz de tomar as decisões corretas. Como ele iria definir o que é uma brincadeira de uma criança e o que é realmente alguém tentando invadir?”, questiona.
Diálogo com pesquisdores humanos para conferir resultados
Para João Paulo Papa, professor do câmpus da Unesp em Bauru e referência internacional na área de aprendizado de máquina, o desenvolvimento de técnicas de Inteligência Artificial Explicável pode oferecer contribuições que vão além da transparência e da segurança para as decisões automatizadas. “O deep learning tem mostrado que as máquinas estão aprendendo com os humanos. A proposta da XAI vem no sentido de saber se os humanos podem aprender com as máquinas”, argumenta.
Nos últimos anos, o docente vem estudando aplicações médicas para o aprendizado de máquina que atuam, por exemplo, na identificação de padrões capazes de auxiliar no diagnóstico de doenças a partir de imagens. Segundo Papa, alguns sistemas de diagnóstico assistido por computador já são capazes de reconhecer casos de câncer de pele com eficiência de até 99%. Porém, em muitos casos, a forma como a máquina chegou a essa conclusão permanece um mistério. Na área médica, entretanto, é importante que o resultado do diagnóstico seja acompanhado por uma avaliação humana que interprete seus dados, uma informação que pode ser relevante, por exemplo, na prescrição do tratamento. A capacidade de “abrir” essa caixa-preta no diagnóstico por imagem é um exemplo que faz da medicina um campo promissor para a aplicação de técnicas de XAI.
Embora esta não seja sua área principal de pesquisa, Papa tem publicado trabalhos em que aplica a XAI à medicina. No ano passado, ele publicou, em parceria com colegas da Alemanha e da UFSCar, um artigo em que aplica técnicas de XAI para destacar regiões potenciais de câncer em pacientes diagnosticados com esôfago de Barret. Essa doença se caracteriza pelo refluxo de enzimas e do ácido estomacal, podendo causar lesões crônicas na parede interna do esôfago, sendo um fator para o surgimento da adenocarcinoma, um tipo de câncer no esôfago. O tema foi objeto de um projeto de doutorado financiado pela Fapesp e orientado por Papa.
Nesse trabalho, publicado no ano passado na revista científica Computers in Biology and Medicine, as técnicas de XAI escolhidas pelos pesquisadores analisaram as imagens provenientes da endoscopia ao nível do pixel, e “explicaram” seu resultado destacando, na própria imagem, as regiões de interesse que pesaram no diagnóstico positivo para câncer. Os pesquisadores concluíram que a aplicação das técnicas de XAI para auxiliar no diagnóstico de câncer se mostrou promissora para novos projetos de pesquisa, uma vez que mostraram resultados confiáveis e em concordância com as interpretações feitas por especialistas.
“Cada vez mais a XAI vai se tornando parte do conceito de aprendizado de máquina. Vejo isso com bons olhos”, diz Papa. De fato, como mostra o relatório da IBM, as próprias empresas já estão atentas a essa demanda por mais transparência e, consequentemente, por confiança nos modelos de IA. Agregar a “explicabilidade”aos seus modelos permite, entre outros pontos, avaliar se ele está funcionando a contento, facilitar possíveis aprimoramentos no processamento dos dados e oferecer recursos para atender a demandas legais ou dos próprios consumidores que contestem, por exemplo, o resultado de uma recusa a um pedido por crédito.
Máquinas são melhores para identifica regras
Sendo uma tendência no campo da Inteligência Artificial, é natural que os cientistas também estejam se apropriando das técnicas e explorando o potencial da XAI. Felipe Fachini lidera o grupo de pesquisa em Teoria de Computação e Informação Quântica da Unesp e acompanha as publicações das principais revistas científicas mundiais. “A Inteligência Artificial Explicável tem aparecido cada vez mais em artigos publicados por revistas de impacto como Nature ou Science, e estes artigos costumam ser sempre muito bem citados”, aponta.
Segundo ele, um dos pontos que tem chamado tanto a atenção dos cientistas nos últimos anos é o potencial da XAI para descobrir novas leis da Física, que até então tenham se mantido obscuras para o olhar humano. “Os pesquisadores estão identificando novas leis olhando não para os resultados obtidos pelos modelos de aprendizado de máquina em si, mas para as regras que ele está construindo para obter esses resultados”, explica Fachini. “Ao analisar os resultados de uma infinidade de experimentos, os modelos de XAI estão sendo capazes de identificar padrões que se repetem a todo momento, mas ninguém, além da máquina, notou que se tratava de uma regra.”
Pode parecer contra-intuitivo imaginar que máquinas sejam capazes de obter leis das Física praticamente por sua própria conta, argumenta Fachini, mas segundo o professor elas não fazem nada além daquilo que o homem já vem fazendo: observar dados e obter leis a partir de regras que se repetem. Neste sentido, máquinas são muito melhores que homens para identificar regras. “Às vezes, as regras não são muito claras, então nosso olhar tem dificuldades para identificá-las. A máquina, por outro lado, tem mais facilidade em obter regras que estão obscuras”, diz.
Algumas dessas descobertas já estão acontecendo. No Instituto Max Planck, um laboratório liderado pelo pesquisador Mario Krenn tem se dedicado a entender de que forma a Inteligência Artificial pode realizar avanços conceituais na Física e na Óptica Quântica. Em 2016, o grupo desenvolveu um algoritmo com a intenção de explorar experimentos quânticos e encontrar soluções para novos problemas. Porém, entre os resultados obtidos estavam soluções muito mais complexas do que aquelas propostas pela equipe do laboratório. Na realidade, ao analisar o problema e procurar formular possíveis respostas o algoritmo havia redescoberto um arranjo experimental concebido na década de 90, mesmo que a equipe de Krenn não houvesse programado nada parecido.
A partir daí, o grupo aprimorou o algoritmo para torná-lo explicável, a fim de que os pesquisadores pudessem analisar o caminho seguido até chegar às suas conclusões. Cientistas argumentam que os resultados obtidos pelos algoritmos da equipe de Krenn ainda estão longe de representarem novas ideias ou conceitos físicos, mas ao que parece os primeiros passos nessa direção estão dados. Fachini tem acompanhado o trabalho do alemão. Os dois estão elaborando um projeto de pesquisa, que pode vir a resultar em uma colaboração de um aluno de doutorado de Fachini junto à equipe do alemão no Instituto Max Planck.
Ainda que cada vez mais artigos estejam sendo publicados sobre o tema e a XAI pareça despontar como uma ferramenta valiosa para o melhor entendimento da ciência e de seus experimentos, Fachini acredita que o verdadeiro impacto dessas revolucionárias técnicas de Inteligência Artificial ainda está por se revelar mais plenamente. “Nós físicos somos pessoas curiosas e, quando vemos saírem resultados novos e promissores, isso desperta interesse. Mas não está claro quais serão os efeitos da Xai sobre a atividade científica, ou mesmo se ela eventualmente vai representar algum tipo de divisor de águas”, afirma.
Foto acima: Deposit photos