Fala que fiz hoje pela manhã, no Seminário de proteção à privacidade e aos dados pessoais do CGI. Está escrito para ser lido, com simplificações pra fala e erros, então relevem isso.
Bom dia. Em primeiro lugar… gostaria de agradecer ao convite feito pela organização, em nome da Jamila, e agradecer ao NIC e ao CGI.
Queria ressaltar que acho que o CGI tem feito um papel fenomenal em abrir espaço para debates sobre tecnologias da informação, governança da internet, dados pessoais e vigilância… Debates que tem sido um espaço inestimável de reflexão e conversa entre os diversos setores, entre governo, academia, empresas e sociedade civil… Ficam aqui meus votos que eventos democráticos e plurais como este continuem se repetindo. Acho isso importantíssimo para que o diálogo, o entendimento e o respeito democrático existam.
Bem, queria começar a minha fala apontando onde me situo. A conversa que vou fazer aqui hoje tem a ver com esse lugar, que não é geográfico ou institucional, embora seja marcado, social e historicamente, por um lugar geográfico e por possibilidades institucionais. Estou tentando empregar esses termos aqui pensando no texto da Donna Haraway sobre saberes localizados. É um texto em que ela tenta se distanciar, ao mesmo tempo, tanto de um cientificismo universalista quanto de um relativismo absoluto. O universalismo, na sua ambição, tem o problema de que, ao pretender falar de um não-lugar, ou produzir uma verdade que seja a mesma para todos, acaba mascarando o fato de que ele fala sim a partir de um lugar. E quase sempre é de um um lugar central e de poder. Já o relativismo, por sua vez, que ela também combate, traz quase uma desistência da possibilidade de se estabelecer conversas. Acaba sendo o irmão gêmeo do universalismo, só que fraco, sempre à margem e enredado em si mesmo.
Mas o que isso tem a ver com big data, algoritmos e discriminação? Meu ponto é que a natureza e os efeitos dessas tecnologias precisam ser pensados a partir das diferentes posições sociais. Quero lembrar que elas não afetam igualmente a todos, a todos os países, a todos os gêneros, a todas etnias e a todas as classes. Embora o big data, por exemplo, seja uma tecnologia que pretenda a maior captura possível de informações sobre sujeitos, objetos e processos, ambicionando o conhecimento de tantas instâncias quanto for possível captar, as tecnologias do big data e os algoritmos que nela operam foram construídos para propósitos específicos, planejados por segmentos sociais determinados, e financiados por setores que tem suas expectativas de retorno para essas tecnologias.
Por isso acho importante lembrar de onde estou tentando falar e com quem estou me juntando para conversar. Falo como pesquisador de uma universidade pública, a Unicamp, com preocupações de alguém que vive em um país periférico ao sul do globo, pensando no destino de trabalhadoras e trabalhadores que vivem um cotidiano de crescente instabilidade econômica, se sustentando na precariedade e fragilmente, e eu falo e trabalho a partir de diálogos com a rede de pesquisa de que participo, a rede latino-americana de estudos em vigilância, tecnologia e sociedade, a lavits.
Isso significa que além de me preocupar com relação aos momentos em que os algoritmos funcionam mal, ou seja, quando eles não funcionam como deveriam, falham porque incorporam preconceitos ou injustiças que quem os construiu não queria que existissem, me preocupa também quando os algoritmos funcionam bem.
O que quer dizer isso? Quer dizer que temos que encarar de frente o fato de que essas tecnologias estão em posse de um conjunto pequeno de empresas bastante próximas umas das outras e em posições estáveis de poder. Empresas, indivíduos e classes sociais, majoritariamente de um gênero e de uma etnia. E o domínio dessas tecnologias aumenta significativamente a chance de que essas posições se consolidem ainda mais ao longo do tempo. Em resumo: os ricos continuando ricos e os pobres continuando pobres.
Bem, para fazer essa fala aqui vou usar principalmente dois livros e um artigo, que quero recomendar. Um livro é o Black box society, do Frank Pasquale. Outro livro é o Weapons of Math Destruction, da Cathy O’Neil. E o artigo é o Big Other, da Shoshana Zuboff. Acho que os três, de maneiras diferentes, com enfoques em aspectos diferentes, falam desse mesmo processo.
A Cathy O’Neil é bastante feliz em mostrar como os algoritmos, ou armas de destruição matemática, como ela chama, acabam ou embedando ou mascarando opiniões e preconceitos daqueles que os produzem. E como eles são fundamentados em matemática e intensa coleta de dados, os algoritmos são vistos socialmente como algo puramente objetivo e inquestionável. O trabalho de pesquisa de O’Neil é baseado na análise de casos de campos como a educação e a avaliação de professores, a concessão de crédito, contratações no mercado de trabalho, marketing e em sistemas de cálculo que buscam prever a reincidência no crime de condenados pela justiça. Ela ressalta como os algoritmos se tornaram uma ferramenta de controle social. E nesse sentido é interessante pensar o controle não como a dominação autoritária característica de anos atrás, mas algo mais sutil e indireto, que informacionalmente abre e fecha caminhos que aparecem para nós como se fossem justos, naturais ou, no limite, os únicos que podem ser vislumbrados pelos sujeitos.
O’Neil fala como os algoritmos, ligados à matemática, aparecem para nós como algo puramente objetivo, e por isso universal e inquestionável. Aí talvez seja interessante recuperar a discussão sobre objetividade feita por Donna Haraway no saberes localizados. Ela diz, e eu cito: “Precisamos aprender em nossos corpos, dotados das cores e da visão estereoscópica dos primatas, como vincular o objetivo aos nossos instrumentos teóricos e políticos de modo a nomear onde estamos e onde não estamos, nas dimensões do espaço mental e físico que mal sabemos como nomear. Assim, de modo não muito perverso, a objetividade revela-se como algo que diz respeito à corporificação específica e particular e não, definitivamente, como algo a respeito da falsa visão que promete transcendência de todos os limites e responsabilidades”. Ou seja, partindo da ideia de que não se vive e se conhece a partir do éter, por cima de tudo, mas em corpos físicos, precisamos enfatizar que a objetividade do algoritmo nem sempre é a nossa. O objetivo aí não vem de objeto, mas de fim, de propósito. E nossos propósitos podem ser outros.
Aí talvez valha fazer um comentário adicional sobre dois pontos: um é o fato de que os sistemas, muitas vezes baseados na reprodução de padrões, podem trazer dados que trazem problemas (de distroções, injustiças e preconceitos) e repetem esses problemas. Outro é que os sistemas, que são construídos em processos sociais, tem suas determinações e sua lógica política – de distinções, classificações e performance exigida de quem é alvo – também podem trazer os problemas de discriminação e perpetuação das distinções sociais e injustiça com que nos preocupamos.
Numa linha próxima da de Cathy O’Neil, Frank Pasquale, em BlackBox Society, lembra de casos em que o treinamento dos sistemas de tecnologia do big data acabaram incorporando ações racistas, embora não tenham sido programado para esse fim. Fala também sobre classificações feitas pelo marketing, pela propaganda, que tem como alvo indivíduos específicos, que são impossibilitados de questionar essas classificações porque elas são secretas. E ele lembra do efeito prejudicial dessas categorias que por vezes acabam sendo usadas por outros campos, como a concessão de crédito ou o mercado de seguros. Pasquale insiste que uma das principais razões desse problema geral é o segredo que rodeia essas tecnologias. E aponta que uma das ferramentas do poder é justamente o segredo. A ofuscação do funcionamento da máquina permitiria confundir ou evitar uma regulação mais específica.
Há um exemplo recente que acho que mostra um dos problemas do segredo, da atuação individualizada dos sistemas e como a assimetria de informação significa uma assimetria de poder econômico. Uma investigação do jornal britânico The Times mostra como a Amazon está praticando uma variação de preços de seus produtos como nunca se viu na história do comércio. Uma análise de 100 produtos comuns ao longo de um ano identificou variações de preços que chegaram até 260 porcento ao longo do período, chegando a variar em 45% ao longo da semana. Alguém poderia objetar que os preços sempre variaram no comércio, mudando de acordo com a identificação de aumento da demanda ou de baixa no estoque. Mas a tecnologia permite acelerar em muito esse processo, identificando rapidamente aumentos de demanda e fazendo com que qualquer moda por algum produto garanta uma alta lucratividade.
Nesse sentido específico, o da assimetria de poder, queria trazer um último texto, possivelmente o mais forte deles, chamado Big Other, escrito por Shoshana Zuboff.
Ela aponta o surgimento de uma forma nova de capitalismo informacional, a que chama de “capitalismo de vigilância”. Ela o descreve como “uma nova forma de capitalismo informacional que objetiva prever e modificar o comportamento humano como meio de produzir lucro e controle de mercado. O capitalismo de vigilância gradualmente foi se constituindo durante a última década, incorporando novas relações sociais e políticas que ainda não foram bem delineadas ou teorizadas”. Para Zuboff, as tecnologias do big data são centrais e elas se fundam numa indiferença formal com relação às populações. Toda a produção informacional interessa, não interessa se voluntária e verbal, como uma busca na internet, ou algo captado por um sensor, como o deslocamento despreocupado pela cidade com o celular no bolso. E as populações são, ao mesmo tempo, fonte de extração de dados e alvo final dos sistemas construídos a partir desses dados. Extração de dados que são pessoais e populações que são alvo final das tentativas de modificação de comportamento.
O texto de Zuboff é muito certeiro, tanto no uso de suas fontes de informação, baseado em artigos de cientistas da indústria da informação, quanto no diagnóstico do atual modelo, baseado em dados, extração e análise.
Mas há outro ponto importante de que Zuboff trata que nos ajuda a mostrar também os efeitos da vigilância acabam atingindo principalmente os mais pobres.
Um deles é a reflexão que Zuboff faz sobre o futuro dos contratos, que dão lugar aos contratos inteligentes. No capitalismo de vigilância, passamos a ser monitorados por dispositivos informacionais o tempo todo. Eles garantem com muito mais efetividade se estamos ou não seguindo um determinado comportamento. A tendência seria, então, segundo ela, da emergência de novas formas contratuais, que ela inclusive diz que são não-contratos, pois a forma tradicional desses compromissos legais seria baseada na incerteza e no compromisso mútuo, que agora desaparecem. Os contratos tradicionais tenderiam a ganhar um papel secundário no futuro, dando lugar a esse monitoramento maquínico do contrato inteligente.
Por exemplo, imaginemos um plano de saúde que, como condição para oferecer preços mais baixos, oferte ao cliente o uso ininterrupto de uma pulseira de monitoramento cardíaco. Antes, a empresa podia apenas recomendar ao cliente que se exercitasse três vezes por semana por pelo menos 30 minutos ao dia para manter uma vida saudável pelo seu próprio bem. Com a pulseira, que sincroniza dados com os computadores da empresa diariamente, a empresa tem como estar certa de como como o cliente se comportou, se fez exercícios ou não, verificando os batimentos cardíacos. Se o cliente não cumpriu o “recomendado” então os preços, automaticamente, sobem. O risco da empresa cai consideravelmente, pois dá preços mais altos aos sedentários, condição que ela verifica ao vigiar a que velocidade bate o coração do segurado.
Parece claro que aqueles que podem pagar, que têm mais dinheiro, podem se dar ao luxo de se eximir desse tipo de vigilância pela máquina. Podem optar, por exemplo, por seguros não monitorados, já que tem condições financeiras para isso. A privacidade vira artigo de luxo.
E aí entro no meu último ponto, fazendo gancho com a objetividade situada de que falava anteriormente. É preciso pensar o impacto diferencial que essas tecnologias adquirem frente a populações periféricas. Falo em periféricas pensando nos mais variados setores, os trabalhadores precarizados que hoje formam o grosso do mercado de trabalho, as mulheres e os outros gêneros que sofrem das diversas estigmatizações sociais e profissionais, os imigrantes internacionais em busca de trabalho e refugiados diversos, que sofrem com a discriminação ao cruzarem fronteiras, agora informatizadas, ou a andarem pelas ruas do país que os recebem. Essas pessoas e as minorias étnicas, que já foi mostrado que são os alvos principais de algoritmos que ambicionam prever e impedir comportamentos violentos: são criminosos antes de cometerem qualquer crime.
Os autores que citei ao longo da minha fala sugerem principalmente um reforço fiscalizativo e regulatório para evitar essas que esses efeitos perpetuem as desigualdades. Mas aqui, da periferia global, gostaria de adicionar que será preciso juntar a isso uma intensa luta social, que passa por pesquisas que entendam, escutem os atingidos e informem sobre os efeitos do big data e da regulação algorítmica, social e de mercados. E serão preciso medidas duras e globais com relação à alta concentração de poder que algumas empresas de tecnologia da informação vem ganhando. A concentração do domínio tecnológico por parte dos países centrais e mais ricos tende a perpetuar e aumentar diferenças geopolíticas e econômicas entre as regiões. Não vai haver desenvolvimento nacional que permita uma diminuição sustentada da desigualdade social enquanto prevalecerem assimetrias no controle das tecnologias da informação. Serão necessárias políticas voltadas a algum tipo de soberania no controle da extração dos dados, de modo que economias e populações não se tornem ainda mais vulneráveis. O poder de conhecimento comportamental que o capitalismo de vigilância ambiciona envolve indivíduos, grupos sociais, política (também eleitoral) e mercado. Nesse sentido acredito que cabe a nós pensar o encaixe do Brasil e da América Latina no capitalismo de vigilância em sua especificidade. Que relações são envolvidas entre empresas nacionais e internacionais, entidades da sociedade civil e governos? Que papel cabe a quem nessa relação, por onde passam os circuitos de processamento e valorização dos dados pessoais e que políticas e estratégias são informadas pela análise dessas informações? Como a circulação da informação pode estimular a economia local e a geração de riqueza, e não uma inclusão periférica e subordinada? Como será possível ser menos frágil nesse cenário?
