Estamos cada vez mais conscientes quanto ao tema dos vieses da tecnologia, seja quando esta traduz de maneira equivocada a questão de gênero ou quando ela reproduz o racismo estrutural como parte integrante de seus algoritmos. Mais recentemente, ficamos sabendo não apenas como o aplicativo FaceApp era uma ameaça à privacidade de seus usuários que aderiram à moda do filtro de envelhecimento, como também esse mesmo programa oferece um filtro embelezador chamado “hot” que, no entanto, acaba clareando a pele de pessoas negras.

Por outro lado, o que vemos com a recente publicação do site Real Life é um extenso e aprofundado artigo de autoria de Abeba Birhane, na qual ela descreve como tecnologias como inteligência artificial estão chegando ao continente africano com vieses individualistas e capitalistas que não condizem com o contexto sociocultural desses países.

Conforme a autora descreve, a mais recente edição da CyFyAfrica 2019, Conferência sobre Tecnologia, Inovação e Sociedade, forneceu um encontro dinâmico, vibrante e diverso do qual fizeram parte legisladores, delegados da ONU, ministros, governos, diplomatas, mídia, representantes de empresas de tecnologia e acadêmicos provenientes de mais de 65 países, sendo estes de maioria africana seguida de asiáticos. Seu objetivo principal foi defender um discurso global partindo do continente africano, de modo a ressaltar a importância de amplificar as vozes africanas, de modo que seus problemas sociais, educacionais, de saúde, econômicos e financeiros ganhem mais protagonismo na indústria. Portanto, a conferência serviu como uma plataforma de conexão entre o continente e o resto do mundo.

Assim como no Brasil ou na América Latina como um todo, também há na África diferentes pólos equivalentes ao Vale do Silício americano. Birhane cita como exemplo o Vale Sheba, em Addis Ababa, o Vale Yabacon em Lagos e a Savana de Silício em Nairobi: todos estes são centros africanos que estão desenvolvendo inovação de ponta em setores como o sistema bancário, financeiro, saúde e educação.

“O continente, de fato, se beneficia desses vários desenvolvimentos tecnológicos e de inteligência artificial: fazendeiros etíopes, por exemplo, podem usar dados de financiamento coletivo para prever e colher melhores plantações. E esses dados podem melhorar os serviços nos setores da educação e da saúde, como este boletim da Organização Mundial da Saúde detalha. Dados podem ajudar a resolver grandes desigualdades que afetam todas as esferas sociais, políticas e econômicas. Ao revelar disparidades de gênero pervasivas em cargos fundamentais, por exemplo, os dados podem também ajudar a pôr as desigualdades em evidência e, assim, dar suporte a reformas sociais e estruturais.”

Apesar disso, este não é o ponto de Birhane em seu texto para o Real Life. Afinal, como a autora ressalta, já existem muitos aficcionados em tecnologia que acham que o continente teria todos seus problemas resolvidos se simplesmente adotassem qualquer solução que envolva as tags “IA”, “smart” ou “inteligente” ou “baseado em dados”. Isto é, sempre que entramos no tópico da inovação tecnológica, inevitavelmente somos confrontados pela defesa de que a digitalização de todas as coisas é a melhor solução para tudo. Esta é uma realidade bastante comum no resto do mundo e que também não deixou de aparecer nas apresentações feitas durante o CyFyAfrica 2019, o que significa que toda a indústria da tecnologia está condenada a aceitar cegamente tudo aquilo que tem como premissa as buzzwords “inovação” e “disrupção” sem nenhum tipo de ceticismo ou crítica. “Não precisa ir muito além das apresentações que fazem das maiores conferências sobre IA ou aprendizado de máquina que acontecem pelo continente: considerações éticas, privacidade de dados ou uma IA sem consequências não previstas são raramente um tópico nesses eventos. A próxima conferência Deep Learning Indaba é um exemplo típico”, critica Birhane.

Sendo assim, já é possível de se ter um espaço para uma visão crítica sobre esses discursos e, então, poupar a África de ter que viver na prática os lados obscuros da tecnologia que já são vistos em aplicações fora do continente. Apesar de dados e inteligência artificial poderem funcionar como uma possível e rápida solução para problemas sociais complexos, essas mesmas tecnologias também estão sendo usadas ao redor do mundo como uma parte de processos de tomada de decisão em áreas como seguros, mobile banking, saúde e educação. Essa tendência também se reflete em solo africano com startups como a Printivo, da Nigéria, e a Mydawa do Quênia. Do mesmo modo, também essas empresas têm com objetivo a maior quantidade de dados possíveis para analisar, inferir e deduzir vários comportamentos e hábitos dos usuários de seus aplicativos, sistemas e ferramentas.

No entanto, aponta Birhane, nessa corrida pelo desenvolvimento da mais inovadora ferramenta, essas startups acabam perdendo de vista as pessoas por trás dos dados que estão sendo coletados.

“‘Dados’ são tratados como algo que deve ser coletado, algo que, sem sombra de dúvidas, pertence a empresas de tecnologia e governos, assim apagando os indivíduos completamente. Isso torna fácil a possibilidade de ‘manipular o comportamento’ ou ‘incomodar’ as pessoas, frequentemente com o objetivo de gerar lucro para as empresas e não para as pessoas. Conforme mecanismos de ‘incômodo’ se tornam comuns para ‘corrigir’ o comportamento das pessoas, seja por seus hábitos de alimentação ou de exercício, os engenheiros do setor privado acabam desenvolvendo sistemas automatizados que têm como finalidade decidir o que é ‘correto’. Nesse processo, indivíduos que não se encaixam nas imagens estereotipadas do que é, por exemplo, um ‘corpo fit’ ou ‘hábitos de alimentação saudável’ acabam sendo punidos ou forçados ainda mais à marginalização. Os direitos do indivíduo, os impactos sociais desse sistema a longo prazo e suas consequências, previstas ou não, afetam especialmente os mais marginalizados — se é que eles sequer farão parte dessa discussão, afinal.”

Desse modo, Birhane traz uma perspectiva mais didática sobre buzzwords como big data ou inteligência artificial de modo a entender como elas perpassam por diferentes disciplinas e como elas podem aparecer em diferentes roupagens no nosso cotidiano. Isto é, essas tecnologias podem tanto se referir aos robôs que se utilizam dos algoritmos do Facebook para dominar nossas timelines até nossas geladeiras “inteligentes”. Tanto os pesquisadores da área quanto repórteres de tecnologia são responsáveis pelo hype criado em torno dessas questões, aponta Birhane. Foi assim que passamos, de maneira geral, a acreditar que a inteligência artificial poderia ter uma espécie de “superpoder” que chega a colocá-la em um patamar divino. No entanto, pesquisadoras como Melanie Mitchell já disseram antes que nós estamos muito longe dessa “superinteligência”. De modo semelhante, lembra Birhane, também Jeff Bigham comentou sobre como esses supostos sistemas autônomos, sejam eles robôs ou algoritmos de reconhecimento de voz, são muitas vezes produto de trabalho humano que, inclusive, é muito mal remunerado.

“O exagero das capacidades dos sistemas de inteligência artificial dissolvem a atenção das reais ameaças que eles oferecem, as quais são muito mais invisíveis, com nuances e gradações do que qualquer coisa como ‘robôs assassinos’. Ferramentas de IA são frequentemente apresentadas como objetivas e sem valor intrínseco. Na verdade, alguns sistemas automatizados usados para contratar pessoas ou policiar foram já descartados por conta da acusação explícita de que essas ferramentas eliminam o viés humano. Sistemas automatizados, afinal, aplicam as mesmas regras a todas as pessoas. Mas isso é um dos enganos mais danosos e errôneos sobre os sistemas automatizados. Como a matemática da Harvard Cathy O’Neil explica em Weapons of Math Destruction, ‘algoritmos são opiniões inseridas em códigos.’ Sob o disfarce de ‘IA’ ou ‘baseado em dados’, os sistemas são apresentados como politicamente neutros, mas por conta da natureza inerentemente política com que os dados são interpretados, coletados e usados para produzir certos resultados (que se alinham com esses dados analisados e controladores), esses sistemas alteram o tecido social, reforçam estereótipos e causam ainda mais desvantagem àqueles que já estão nas mais baixas posições da hierarquia social.”

Em outras palavras, é preciso resgatar a noção de que esses sistemas, por mais automatizados que possam vir a ser, são sistemas, em primeira instância, criados por humanos e, portanto, somos responsáveis por eles da mesma forma que qualquer outra ferramenta. Esses sistemas, portanto, apresentam e refletem nossas inconsistências, limitações, vieses e desejos políticos e emocionais. “Como vemos o mundo e como nós escolhemos representá-lo é refletido nesses modelos algorítmicos do mundo que construímos. Assim, quem constrói esses sistemas e seleciona os tipos e as fontes dos dados usados irão afetar profundamente a influência que esses sistemas possuem. Os resultados que os sistemas baseados em IA produzem refletem social e culturalmente os estereótipos, não as verdades objetivas”, defende Birhane.

Consequentemente, Birhane observa que o uso de tecnologia na esfera social acaba por, muitas vezes, de forma intencional ou acidental, focar em práticas punitivas, seja ao prever quem irá cometer o próximo crime ou quem não conseguirá pagar a próxima parcela do financiamento de sua casa. Por isso, a autora comenta que perguntas construtivas e reabilitativas sobre por que as pessoas comitem crimes ou o que pode ser feito para reabilitar e dar suporte àqueles que acabaram de sair da prisão são perguntas que quase nunca são feitas. “Desenvolvimento tecnológicos criados e aplicados com o objetivo de trazer ‘segurança’ e ‘ordem’ frequentemente almejam punição e não reabilitação. Além disso, essas tecnologias necessariamente incluem práticas cruéis, discriminatórias e desumanas para alguns. O tratamento cruel dos Uighurs na China e a injusta desvantagem dos pobres são exemplos nesse sentido. De modo semelhante, conforme cidades como Johannesburg e Kamapa introduzem o uso da tecnologia de reconhecimento facial, uma discriminação injusta e persecutória de grupos minoritários se torna inevitável”, comenta a pesquisadora. Já prevendo alguns problemas como estes, cidades como São Francisco, por exemplo, já baniram o uso de reconhecimento facial em suas câmeras de segurança.

Sendo assim, não é vantajoso do ponto de vista comercial que as empresas de inteligência artificial assumam os vieses de seus produtos. Quando isso ocorre, geralmente a culpa sobra para alguns “usuários” em específico, “assim como se as pessoas só existissem como objetos a serem manipulados”, reflete Birhane. Desse modo, essas mesmas empresas tomam como garantido que esses dados serão automaticamente sua propriedade, o que demonstra como o discurso e a prática de data mining ou de conteúdo baseado em dados é inconsequente nesse ponto de vista. Para a autora, o próprio termo “mining” ou mineração já é uma reminiscência da atitude colonizadora que declara que humanos são uma matéria prima — seus dados são, portanto, apenas mais um desdobramento das possibilidades de exploração do indivíduo. “Conforme deixamos as decisões sobre problemas sociais para sistemas automatizados desenvolvidos por corporações com foco em lucro, nós não apenas permitimos que nossas preocupações sociais sejam ditadas por incentivos corporativos (lucro), mas também permitimos que questões morais complexas sejam lidadas pelo mundo corporativo.”

Assim sendo, quando temos um serviço personalizado e baseado no estudo do comportamento dos usuários, o que temos é, em outras palavras, a “extração, simplificação e instrumentalização da experiência humana para fins capitalistas”, algo que Shoshana Zuboff detalha em seu livro The Age of Surveillance Capitalism. Curiosamente, esse tipo de coisa para ser algo banal perto às especulações distópicas da ficção científica que pensa que a humanidade pode ser erradicada por máquinas assassinas que vieram do futuro, no entanto, Birhane diz que o mais assustador é como esses nossos sistemas atuais, ainda assim tão pouco inteligentes e automatizados, já são capazes de remover a autonomia das pessoas ao tratá-las como meros dados a serem processados. “Os inferimentos que os modelos algoritmos de comportamento fazem não refletem um estado neutro do mundo ou oferecem qualquer explicação causal profunda, mas, ao invés disso, elas reforçam injustiças sociais e históricas já fortemente asseguradas.”

“A tecnologia não é nunca neutra ou objetiva; é um espelho que reflete vieses sociais e injustiça. Por exemplo, durante a conferência, um delegado da ONU referenciou um trabalho que está sendo desenvolvido para combater terrorismo online, mas infelizmente se focou explicitamente em grupos islâmicos, representando assim uma imagem não realista e perigosa do terrorismo online: nos últimos nove anos, houve 350 ataques terroristas de extremistas brancos na Europa, Austrália e América do Norte; um terço de todos os ataques desse tipo nesse mesmo período nos Estados Unidos foi causado por extremistas brancos. Isso ilustra o ponto preocupante das visões estereotipadas que percebem um problema e que tipos de tecnologia nós desenvolvemos em resposta. Nós então percebemos que, através do espelho da tecnologia, há evidências de nossas intuições enviesadas e que reenforçam ainda mais os estereótipos.”

Birhane menciona algumas empresas focais da indústria tecnológica, como a Microsoft e a DeepMind da Google, bem como núcleos acadêmicos como o MIT como iniciativas que começaram a crair núcleos de ética, de modo que assim consigam lidar com as possíveis consequências catastróficas que seus produtos podem gerar na sociedade. Diferentes olhares são direcionados nesse sentido, mas essa multiplicidade é, na verdade, uma força e não uma falha: é realmente necessário, como aponta a autora, que diferentes “remédios” sejam usados para lidar com problemas éticos, sociais e econômicos que a inteligência artificial é capaz de gerar em diferentes contextos e culturas. No entanto, muitas vezes esses frameworks éticos ou ainda os principais guias de ética em inteligência artificial acabam se focando no status quo como uma referência e, assim, as soluções acabam se concentrando em apenas uma. “Insistir em um framework generalista para IA, como aconselhou um dos acadêmicos participantes da conferência, não só é inatingível como também poderia piorar os problemas que ele deveria endereçar nesses contextos que não foram possíveis de serem antecipados.”

Assim sendo, no contexto africano, não apenas o continente tenta acompanhar as inovações tecnológicas globais, como também há o esforço de proteger seus cidadãos mais vulneráveis das consequências que essas novas tecnologias podem causar. Ao reforçar a missão de proteger e respeitar os direitos, liberdades e privacidade dos africanos, a CyFyAfrica trouxe em pauta o que precisa ser priorizado no continente. E isso não significa apenas salvaguardar direitos individuais e liberdade, mas também a inclusão de vozes críticas que possam fazer parte da narrativa tecnológica. Segundo Birhane, o evento de fato deu espaço a críticos em seus painéis, mas essas poucas vozes foram atropeladas pela quantidade avassaladora de entusiastas da tecnologia.

Mesmo assim, após o evento, os palestrantes ainda tiveram a oportunidade de compartilhar mais de seus pensamentos em uma publicação semi-acadêmica patrocinda pela Observer Researcher Foundation, da qual Birhane também participou como autora. Curiosamente, o que a pesquisadora comenta é que, na primeira versão submetida, os avaliadores consideraram seu tom muito crítico e, portanto, não se encaixava na linha editorial da publicação. “Ironicamente, a plataforma que diz dar voz aos jovens africanos só o faz quando a voz se alinha com as narrativas e os motivos das empresas de tecnologia poderosas, legisladores e governos”, critica a pesquisadora.

“A questão da ‘tecnologização’ e digitalização do continente é uma questão sobre em qual tipo de sociedade nós queremos viver. A juventude africana está resolvendo seus próprios problemas ao decidir que queremos nos amplificar e nos mostrar para o resto do mundo. Isso também significa não importar os mais recentes sistemas de machine learning ou qualquer outra ferramenta de IA sem questionar qual é o propósito inerente, quem está sendo beneficiado e quem pode sofrer desvantagem com a implementação dessas ferramentas.
Além disso, conforme a juventude africana lidera o setor da IA, isso significa criar mais programas e bases de dados que servem várias comunidades locais sem cegamente importar sistemas de IA ocidentais fundadas em objetivos individualistas e capitalistas. Isso significa também que iremos investigar os sistemas que nós mesmos desenvolvemos para colocar padrões éticos que servem para propósitos específicos em vez de aceitar as perspectivas ocidentais como o padrão. Em um continente onde muitas das narrativas são anuladas por imagens negativas como a migração, seca e pobreza, o uso da IA para resolver nossos problemas significa usar a IA da maneira que queremos, para entender quem somos e como queremos ser entendidos e percebidos: um continente no qual os valores da comunidade triunfam e ninguém é deixado para trás.”

‍