Na semana passada, assisti ao TED talk da socióloga especializada em tecnologia Zeynep Tufekci, o qual recebeu um título ao qual me inspirei para dar o nome desse texto: Estamos construindo uma distopia apenas para fazer com que as pessoas cliquem em publicidade.

Tufekci fala sobre como estamos usando distopias como 1984 de George Orwell para tratar da questão da privacidade, vigilância e grandes corporações hoje em dia, quando essa obra, escrita em 1948, já não faz mais sentido dentro do nosso contexto atual, uma vez que ela não tratava exatamente do mesmo tipo de controle pelo qual estamos nos enveredando no momento.

A socióloga atenta que o problema não está na inteligência artificial em si e que é muito pouco provável que tenhamos um tipo de IA que se volte contra nós, assim como temem as manchetes que fazem referência ao filme O Exterminador do Futuro. Para ela, é o uso da potência da inteligência artificial, big data e machine learning por grandes empresas como Facebook e Google que é preocupante.

‍

A autora do livro Twitter and Tear Gas: The Power and Fragility of Networked Protest (2017)atenta para o fato de que tanto os programadores quanto os analistas de dados já perderam a noção do que está acontecendo com os algoritmos que eles próprios criaram. São milhares de linhas, milhares de informações que já saíram do controle de sua análise devido à grande massa de dados que está sendo ali manipulada.

Mesmo assim, essa tecnologia tem sido aplicada, por exemplo, no Facebook, quando nas eleições americanas de 2012 e de 2016, a rede social realizou um experimento no qual os usuários poderiam clicar confirmando se já haviam votado para escolher o novo presidente ou não. Contudo, alguns usuários tinham acesso à essa coleta com a informação de quais outros de seus amigos já haviam confirmado seu voto. Como consequência disso, 270 mil pessoas a mais foram influenciadas a votar no país que não tem voto obrigatório.

Traçando perfis

Em outro caso, como citado por Tufekci, um programador lhe contou que havia criado uma IA capaz de analisar posts em redes sociais, como o Twitter, no qual ela conseguia ver o tipo de conteúdo e de mensagem que os usuários estavam publicando e assim fazer um pré-diagnóstico de quem já estava apresentando um comportamento maníaco antes mesmo de ser clinicamente diagnosticado. As previsões, como comenta a socióloga, tiveram uma precisão muito alta.

Do mesmo modo, Tufekci dá um exemplo de como programar publicidade online de acordo com o perfil dos usuários. Como esses perfis são criados? A partir das informações que conscientemente compartilhamos nas redes sociais e aquelas que não sabemos que as empresas também mantêm arquivadas, como é o caso dos posts que apagamos, mas que o Facebook mantém em sua base dados e usa também isso como forma de analisar seu perfil, como indica a socióloga. Fora isso, também várias outras empresas especializadas na área coletam dados mais simples, como nosso histórico de navegação, até outros mais obscuros para revender àqueles interessados em transformar essa informação em um perfil de direcionamento de publicidade.

Nesse sentido, Tufekci faz a suposição de uma empresa que queira anunciar passagens para Las Vegas. Ela pode atingir as pessoas que fizeram uma busca por passagens para Las Vegas ou então ela pode atingir pessoas que possuem um perfil demonstrando certos comportamentos e impulsos, como vício em jogos ou compulsão por compras, portanto explorando essas características e disfunções pessoais para vender seus produtos e serviços. A questão aí, então, já não tem mais a ver com a tecnologia em si, mas sim com a moralidade por trás dela e de sua aplicação.

Hacking the system?

Também na semana passada, no dia 21/11, um fab lab francês foi vandalizado e incendiado depois ter ficado conhecido como uma “instituição notoriamente perigosa por conta de sua difusão da cultura digital.” De acordo com os autores do ato, o fab lab La Casemate era resultado das ações da administração municipal, com a intenção de “satisfazer start ups famintas por dinheiro e geeks abrindo fab labs em vizinhanças da moda. Esses dispositivos de aparência extremamente heterogênea têm como objetivo acelerar a aceitação e o uso social de tecnologias desse nosso tempo desastroso.”

Em seu artigo analisando o caso, o advogado francês Jean-Baptist Soufron argumenta que esta não é a primeira vez que pessoas agem de forma violenta contra computadores. De 1979 a 1983, na França, havia um comitê conhecido como CLODO, que tinha o intuito de “liquidar” ou “subverter” computadores, plantando bombas e queimando prédios de empresas de tecnologia.

Naquele momento, conta Soufron, os responsáveis declararam à mídia francesa que eles eram “trabalhadores na área de processamento de dados e consequentemente bem posicionados para falar a respeito dos atuais e futuros perigos do processamento de dados e das telecomunicações.” Ainda segundo eles, “o computador é a ferramenta preferida dos dominantes. Ele é usado para explorar, para registrar, controlar e reprimir.”

Mais tarde, em 1984, um grupo belga chamado Communist Combattant Cells (CCC) bombardeou e destruiu a sede de várias empresas de tecnologia na Alemanha e na Bélgica. Em Londres, um grupo chamado Angry Brigate tentou fazer o mesmo e outras ações semelhantes, como indica Soufron, também aconteceram na Ásia, na América do Sul e nos Estados Unidos.

O advogado francês insiste em reforçar que é muito fácil chamar esses grupos de neoluditas, quando, na verdade, diferentemente dos originais luditas, que quebravam máquinas porque estas estariam tirando seus empregos, essas pessoas têm um outro foco para suas ações.

Em 1983, o CLODO deu uma rara entrevista a uma publicação inglesa, para a qual deu a seguinte explicação: “Não é nem retrógrado ou novidade. Olhando para o passado, vemos apenas escravidão e desumanização, pelo menos se retornarmos para certas sociedades chamadas primitivas. E apesar de nós não compartilharmos dos mesmos ‘projetos sociais’, sabemos que é estupidez tentar algo e [querer] voltar no tempo.”

Ou seja, é como se essas ferramentas fossem “perversas desde sua origem”, como por exemplo quando consideramos que “a maioria dos setores computadorizados são os exércitos, e que 94% do tempo de uso dos computadores de civis é usado para administração e contabilidade.” De acordo com esse parecer do ano de 1983, “se microprocessadores geram desemprego, em vez de reduzir o tempo de trabalho de um empregado, é porque nós vivemos em uma sociedade brutal, e isso de forma alguma é um motivo para destruir microprocessadores.”

Nova crítica anti-tecnológica

Soufron então lembra que desde aquele mesmo ano, 1983, um filme chamado Wargamesjá estabelecia a relação entre hackers, terrorismo e violência. Ao insistir nesse tema, escreve o advogado, “parece que a política digital, protestos e violência só acontecem em um tipo de mundo virtual, e que eles pertencem a uma zona cinzenta na qual os valores morais estão distantes e confusos.”

‍

Soufron então lembra que desde aquele mesmo ano, 1983, um filme chamado Wargamesjá estabelecia a relação entre hackers, terrorismo e violência. Ao insistir nesse tema, escreve o advogado, “parece que a política digital, protestos e violência só acontecem em um tipo de mundo virtual, e que eles pertencem a uma zona cinzenta na qual os valores morais estão distantes e confusos.”

Como Soufron explica, o vocabulário ali usado e que ainda permanece como referência linguística ao tratar o hacker “do bem” como white hat e o hacker “do mal” como black hatfaz parecer com que o cenário seja muito mais adequado ao imaginário de, por exemplo, Senhor dos Anéis do que do Manifesto Comunista. “E desde o seminal livro de 1984 escrito por Steven Levy, Hackers: Heroes of the computer revolution, o mundo digital tem estado fascinado por essas novas histórias, que dizem serem capazes de quebrar as regras da sociedade. Seus líderes sempre querem apresentar a si mesmos como revolucionários. Eles sempre começaram em garagens. Eles sempre são ex-hackers. Todos eles querem mudar o mundo”, aponta Soufron.

Mas, para o advogado, parece que isso já não é mais assim. Depois de terem atirado pedras em um ônibus do Google (ato criticado pelo teórico Douglas Rushkoff e também pelo próprio Soufron), esses novos opositores da tecnologia parecem estar questionando o que realmente é revolucionário ou profético em uma indústria que se baseia em um capitalismo antiquado, monopólios, microwork, regulamentações estatais e tendo o dinheiro como principal norteador

‍

“Assim como eles rejeitam o mito do hacker, eles também chamam um lugar de renome como o MIT de ‘tempo da tecnocracia’ — pessoas que estejam surpresas, ofendidas ou chocadas por essa descrição devem lembrar da forma como Aaron Swartz foi levado ao suicídio depois de ter sido maltratado por essa instituição”, escreve Soufron.

‍

Por fim, o advogado termina seu texto afirmando que a violência deve ser, sim, condenada, porém que este ato mais extremo é apenas uma resposta ao impulso de uma “religião do progresso e tecnologia que tem sido vendida como um futuro inescapável para todos.”

Soufron comenta que os membros do CLODO nunca foram pegos, mas que eles acabaram sendo eliminados da pauta porque um novo storytelling de uma suposta revolução da transição digital havia ganhado maior destaque. Apesar disso, Soufron não acredita que exista uma nova história a ser contada:

‍

“Conforme as promessas dessa então considerada revolução agora falham em serem realizadas, é apenas previsível que as pessoas voltem a realmente protestar e serem verdadeiramente violentas como resultado. Não é surpreendente que, depois de 20 anos de obscuridade, as pessoas estejam começando a lembrar disso. Com o impacto negativo da indústria digital sendo sentido de forma cada vez mais forte pelos cidadãos, as ações não serão restritas a ex grandes profissionais em tecnologia falando em conferências de elite, ou pelos artigos indignados de pesquisadores de ciências sociais conforme estes são financiados por empresas de tecnologia. A tecnologia não é neutra e não há nenhum mundo virtual.”

‍

O círculo vicioso da distopia

Contudo, é essa mesma narrativa anti-tecnologia e anti-corporações que vem sendo contada pela ficção científica distópica. Se o cyberpunk dos anos 80 trazia histórias anti-corporações, mas usando a tecnologia e a figura do hacker como um novo herói que é criticado por esses novos revolucionários e pelo texto de Soufron, como fica a “verdadeira oposição” nesse contexto do século XXI?

‍

O que vemos no imaginário da cultura pop atual são empresas como a Netflix se utilizando dos mesmo algoritmos ressaltados por Tufekci para criar seriados e filmes que respondem aos anseios de busca e de consumo cultural levantados a partir dos hábitos de seus usuários — e isso vem desde House of Cards até Stranger Things e mesmo Black Mirror.

Mesmo tendo sido antes um produto do Channel 4, foi ao chegar na Netflix que o seriado Black Mirror ganhou um novo boostde popularidade e de influência no imaginário popular, e com isso também um novo direcionamento de suas narrativas. A série sempre fez uma análise crítica e até mesmo pessimista das tendências tecnológicas, mas desta vez para cair em um vórtice de negatividade e previsibilidade narrativa em que o próprio mote da série é mais apontar para as possibilidades de aplicação da tecnologia e possíveis (e não únicos) desdobramentos desastrosos, mas sim que alguma coisa de muito catastrófico irá acontecer por conta da tecnologia de qualquer forma e carregada por um tom subliminarmente moralista.

Por outro lado, temos ainda o caso da série Mr. Robot, que conquistou o gosto não só de quem trabalha na área de segurança da informação e que conseguiu se relacionar com aquela narrativa, como também ganhou o apreço dos fãs de ficção científica cyberpunk sem necessariamente ser uma obra de ficção científica stricto sensu.

Nas últimas temporadas, vimos na figura de Elliot não só o estereótipo do hacker revolucionário, como também tivemos a oportunidade de ver que dentro dessas mesmas corporações que são criticadas pelos grupos pós-CLODO existem pessoas fazendo um jogo duplo e que essa revolução pode não ser tão simples quanto um site hackeado, mas pode envolver muita violência, assim como foi em La Cotemade e como a série representou a partir da morte da personagem Susan Jacobs, por exemplo.

‍

Em outras palavras, quando Tufekci fala em distopia, a socióloga trata da maneira como algoritmos aplicados à publicidade estão criando um contexto distópico para as populações devido à forma imoral com que esta tecnologia pode ser usada ao almejar um público de forma antiética, pautada unicamente em um objetivo de lucratividade.

Por outro lado, minha leitura e minha expectativa diante do título de seu TED talk era de entender como os algoritmos estão reconhecendo justamente esses perfis que estão sedentos por distopias e, desse modo, empresas produtoras de conteúdo, como é o caso da Netflix, se aproveitam desse mindset para reforçar um pensamento que não necessariamente é acurado, mas que massageia um pré-conceito há muito já construído pela própria ficção científica distópica.

E aí caímos em um círculo vicioso, no qual não só temos uma desvalorização do gêneropor conta do empobrecimento das narrativas, como também vemos uma indústria cultural baseada no medo (vide comentário do futurista Tiago Mattos sobre o novo filmeSingularity), porque medo, afinal, vende.

A pergunta que fica, então, é se essa estratégia também não acaba sendo um outro desdobramento da pós-verdade, uma vez que oferecemos aquilo que se quer ver e ouvir, mas não necessariamente “é”. As aspas aqui vêm como uma sugestão de resposta à pergunta, já que quando tratamos de ficção, não tratamos de verdade ou mentira, mas talvez de verossimilhança em alguns gêneros. Em outras palavras, o que se quer dizer ao estabelecer essa comparação é que a arte passa a ser feita sob demanda, uma encomenda que nós, os novos mecenas transformados em assinantes dos serviços de streaming, querem — mesmo que talvez só o algoritmo saiba dizer isso. É o que queremos ver e ouvir, mas talvez não aquilo que precisemos.

Nesse ponto, o texto de Soufron nos traz um outro olhar para além do achatamento neoludista da crítica anti-corporações de tecnologia. Mais do que tecer um comentário unilateral e achatado contra essas empresas, grupos como o CLODO ou atos como o depredamento do fab lab La Casemade mostram que o problema é muito mais complexo do que o medo de que as máquinas tirem nossos empregos ou que robôs se voltem contra nós e destruam a humanidade.

Diante disso, talvez nem mesmo a cultura pop esteja dando conta de traduzir satisfatoriamente esse contexto, seja pelo medo de não conquistar a audiência sedenta por catástrofe, seja pela tamanha complexidade do tema.

‍