“A inteligência artificial (IA) pode nos levar a um futuro orwelliano”. A frase é do presidente da Microsoft, Brad Smith, em referência ao livro 1984, de George Orwell. No romance, o governo podia ver tudo o que os cidadãos faziam, ouviam e falavam o tempo todo, uma alusão ao que acontece atualmente com os sistemas de vigilância ao redor do planeta.

A entrevista foi ao ar no programa Panorama da emissora de televisão britânica BBC, durante o episódio que abordava os perigos potenciais da corrida entre EUA e China para implantar a tecnologia como forma de fiscalizar o comportamento de cada indivíduo dentro da sociedade.

Enquanto nesses dois países existem poucas iniciativas para regulamentar o uso de IA em sistemas de segurança, a União Europeia lançou um projeto recentemente para estabelecer limites de utilização da tecnologia que incorpora mecanismos de reconhecimento facial para criar bancos de dados.

"Eu sou constantemente lembrado das lições de George Orwell em seu livro 1984. A história fundamental era sobre um governo onipresente, vigilante e sem escrúpulos. Como vimos, isso não aconteceu em 1984, mas se não tivermos cuidado agora, pode acontecer já em 2024", afirma Smith.

Preconceito programado

Ferramentas de inteligência artificial são máquinas que podem aprender ou resolver problemas sem a interferência de um operador humano. Muitos programas de IA dependem de um conjunto de dados computacionais para reconhecer padrões, absorver informações e se tornar mais “inteligentes” com o passar do tempo.

Segundo os especialistas, os problemas começam quando sistemas de IA são aplicados em análises de dados sociais, já que essas informações invariavelmente vêm acompanhadas de preconceitos humanos sobre raça, cor, classe social, etnia ou orientação sexual.

Algoritmos mal treinados podem apresentar distorções sistemáticas sobre dados envolvendo questões específicas como índices de suicídio, taxas de práticas criminais, avaliações médicas e até mesmo sobre quem pode ou não receber um empréstimo bancário.

“O preconceito nunca pode ser completamente evitado, mas pode ser resolvido. A boa notícia é que reduzir o preconceito é uma das principais prioridades tanto na academia quanto na indústria de IA”, explica o professor de ética e inteligência artificial do MIT, Bernhardt Trout.

Vigilância política

O uso de sistemas de IA vai além das questões técnicas envolvidas nos processos de implantação da tecnologia. Cada vez mais, assuntos políticos, morais e comportamentais fazem parte de esquemas de vigilância com objetivos nada transparentes sobre a utilização de programas invasivos, como o reconhecimento facial.

“O reconhecimento facial é uma ferramenta extraordinariamente poderosa de fazer coisas boas, mas se você quiser vigiar todos na rua, se quiser ver todos que aparecem em uma demonstração, você pode colocar a IA para funcionar e isso já acontece em certas partes do mundo”, afirma Brad Smith.

Na China, por exemplo, trens e ônibus aboliram o uso de passagens e começaram a usar o reconhecimento facial no transporte público. Para os especialistas por trás dessa comodidade, o governo tem acesso a dados sobre deslocamento e interação dos cidadãos. Em casos mais graves, o governo chinês usou a IA para rastrear e até mesmo avaliar a culpa de pessoas presas na região de Xinjiang, onde a minoria Uigur se revoltou contra a tortura e o genocídio cultural da população.

Os EUA alegam ter apenas interesses militares e de segurança nacional com a implantação dos sistemas de IA. Em 2018, o projeto Maven, uma parceria entre o Google e o Pentágono, teria analisado automaticamente vídeos feitos por aeronaves e drones. O programa foi cancelado sob protesto dos funcionários depois que denúncias de que as imagens poderiam ser usadas em ataques autônomos vieram à tona.

Em outro caso de mau uso de inteligência artificial ocorrido em 2020, um homem negro foi preso porque um algoritmo de reconhecimento facial o indentificou como suspeito de um caso de furto, crime que ele nunca havia cometido.

Com certeza George Orwell não imaginou que as “teletelas” do futuro seriam algoritmos especializados, capazes de ver, ouvir e analisar tudo em tempo real. Mas para as gerações que terão que conviver com essa tecnologia, é bom ter essa frase do livro 1984 gravada na memória: “Ver aquilo que temos diante do nariz requer uma luta constante”.