Em artigo para o New York Times, Sendhil Mullainathan faz a provocação: é mais fácil reconhecer vieses nos algoritmos do que “consertar” pessoas enviesadas. Já falamos por aqui sobre esse tipo de problema na tecnologia que, em última instância, dizem mais respeito à espécie humana do que a uma inteligência artificial em si — o que, no entanto, não significa que o problema é menor. Na realidade, para Mullainathan, ele é maior.

O jornalista traz como referência um estudo publicado 15 anos atrás, quando duas pessoas aplicaram para um trabalho. Seus currículos eram similares, um se chamava Jamal e outro Brendan. Neste ano, dois pacientes buscaram atendimento médico, ambos sofrendo de diabetes e pressão alta, mas um paciente era branco e outro era negro. Nos dois estudos, vemos a questão da injustiça racial: enquanto, no primeiro, o candidato com um nome que faz associar a um indivíduo negro recebeu menos convites para entrevistas, no segundo, o paciente negro teve um pior atendimento.

A diferença está em um elemento crucial: no primeiro caso, o problema foi a contratação de gerentes que tomam decisões enviesadas, já no segundo, o problema foi um programa de computador. Mullainathan, por acaso, é co-autor desses dois estudos e, nesse sentido, ele vê duas lições a serem aprendidas: uma focada em humanos e outra em algoritmos.

No primeiro estudo, os pesquisadores queriam responder a pergunta se Greg e Emily seriam mais empregáveis do que Lakisha e Jamal. A resposta, como você já deve ter previsto, foi que sim — muito mais empregáveis. “Simplesmente por ter um nome de pessoa branca aumentou os retornos para entrevistas de emprego em 50%”, escreve Mullainathan.

Já no estudo publicado em outubro e que se focava no caso dos pacientes do sistema de saúde americano, foram os principais algoritmos usados que se tornaram objeto de estudo. Nesse caso, esses programas foram feitos para ajudar os centros médicos a lidarem com a grande quantidade de dados que faz com que os funcionários saibam qual é o paciente com mais urgência e mais doente. “Nós encontramos nesses algoritmos um viés racial já embutido. Em níveis similares de doença, pacientes negros foram vistos como menos urgentes do que pacientes brancos. A magnitude da distorção era imensa: ao eliminar o viés algorítmico, seria possível duplicar o número de pacientes negros que receberiam ajuda extra. O problema fica na escolha sutil de engenharia: para medir o ‘nível de doença’ eles usavam a maior parte dos dados disponíveis, gastos com planos de saúde. Mas porque a sociedade gasta menos com pacientes negros do que com pacientes brancos igualmente doentes, o algoritmo subestimou as necessidades do paciente negro”, explica o autor do estudo.

Agora, a maneira de se abordar esses dois problemas são diferentes. De acordo com o pesquisador, o primeiro estudo parecia mais uma operação de conversão do que uma pesquisa realmente acadêmica. Todo o trabalho logístico de ir atrás de vagas, enviar fax com os currículos e fazer ligações para depois analisar os comportamentos discriminatórios de um grupo particular, no caso gerentes de RH, foi muito mais difícil do que o diagnóstico do viés no algoritmo do sistema de saúde. “Foi um exercício estatístico, o equivalente a perguntar ao algoritmo ‘o que você faria com esse paciente?’ centenas de milhares de vezes e mapear as diferenças raciais. O trabalho foi técnico e rotineiro, não requirindo nenhum tipo de discrição ou recursos.”

Em outras palavras, humanos são muito mais difíceis de se lidar do que algoritmos. Nossas explicações sobre nosso comportamento mudam o tempo todo e são adaptadas cultural e socialmente. Medir o racismo nas pessoas requer a criação de circunstâncias controladas no mundo real na qual apenas o quesito racial importa. Já no caso de um algoritmo, é possível de se criar cenários controlados ao apenas usar os dados específicos e observar seu comportamento.

Fora isso, os humanos também se comportam de forma diferente sobre o que fazer com esses vieses. Na primeira pesquisa, os autores encontraram dificuldade em resolver o problema, porque detectar discriminação não necessariamente faz com que toda a empresa seja discriminatória e, por outro lado, mudar a cabeça de uma pessoa não é algo fácil. No máximo, um treinamento pode demonstrar algumas mudanças, mas é talvez o melhor cenário possível.

No caso do algoritmo, os pesquisadores desenvolveram um protótipo para ajudar as empresas, no caso o sistema de saúde americano, a identificarem esse viés e consertar o seu programa de gerenciamento de forma gratuita. Muitos centros médicos aceitaram, o que prova que não era intencional que aquilo ocorresse ali. E, nesse sentido, é possível de se ver como mudar algoritmos é mais fácil do que mudar pessoas, já que o software só precisa de uma atualização, mas a mente das pessoas são bem diferentes disso.

Mas, quanto aos algoritmos, é possível de se pensar, por exemplo, em um tipo de regulamentação, como propõe um artigo publicado em 2018. “Com uma melhor regulamentação, algoritmos melhores podem ajudar a certificar que as pessoas tenham um tratamento justo na sociedade, apesar de isso não resolver os vieses profundos e estruturais que continua infligindo os Estados Unidos. Consertar vieses da sociedade não é mais fácil do que consertar os vieses das pessoas.”