ILUSTRAÇÕES: RAFAELA PASCOTTO

Em um artigo publicado na revista Nature em 2020, destaca-se uma observação que se aplica bem à chegada da nova onda de tecnologias de inteligência artificial (IA), popularizada pelo surgimento do ChatGPT (ferramenta de diálogo) no fim de 2022. Diz a autora: não pergunte se a IA é boa ou justa. A questão é mais ampla e deveria buscar explorar como a IA está mudando as relações de poder.

Essa pergunta se aplica diretamente ao ChatGPT. Para entender o impacto dessa tecnologia, além do deslumbramento inicial que capturou a imaginação das pessoas, são necessários alguns conhecimentos multidisciplinares. É importante conhecer não apenas a arquitetura tecnológica desses ‘chatbots’ como também saber interpretar o significado dessas ferramentas, decidir como devem ser aplicadas e, principalmente, em que mundo queremos viver com esses seres tecnológicos.

Portanto, precisamos contar com conhecimento de especialistas de vários campos da ciência, engenheiros da computação, pesquisadores das ciências sociais, das humanidades e do direito. Todos têm a contribuir.

Os sistemas usados no processamento de linguagens naturais são conhecidos como modelos de linguagem. A definição clássica de um modelo de linguagem é uma distribuição de probabilidades sobre sequências de símbolos ou palavras. Embora conceitualmente um modelo de linguagem seja um objeto simples, na prática a atribuição de probabilidades significativas a todas as sequências de símbolos ou palavras é complexa e requer habilidades linguísticas extraordinárias e conhecimento da realidade. Para isso, esses modelos são treinados com grandes massas de dados textuais.

Para calcular a distribuição de sequências de símbolos ou textos, são usados modelos generativos, conjuntos de algoritmos que visam aprender a distribuição real de dados para então gerar probabilidades de novos textos com algumas variações. Como nem sempre é possível aprender a distribuição real dos dados, procura-se modelar um padrão que seja o mais próximo possível da distribuição real. Para aprender uma função aproximada de distribuição de probabilidades dos dados reais, são usadas redes neurais (modelo computacional baseado em unidades chamadas de neurônios artificiais, conectadas entre si para transmitir sinais).

O desenvolvimento de IAs baseadas em aprendizado de máquina (machine learning) já ocorre há algumas décadas. Quando o cientista da computação alemão Joseph Weizenbaum (1923-2008) criou, entre 1964 e 1966, o algoritmo Eliza, contribuiu com aspectos teóricos para o processamento de linguagem natural e construiu a percepção sobre os impactos dessas tecnologias na sociedade. Ao ver sua secretária no Instituto de Tecnologia de Massachusetts (MIT), nos Estados Unidos, fazer confidências para Eliza, mesmo sabendo que se tratava de um programa de computador, Weizenbaum percebeu o poder dessa tecnologia.

Ao ver sua secretária no Instituto de Tecnologia de Massachusetts (MIT), nos EUA, fazer confidências para Eliza, mesmo sabendo que se tratava de um programa de computador, Weizenbaum percebeu o poder dessa tecnologia.

A interação entre humanos e máquinas inteligentes implica relações de poder e enquadramento da ação humana na sociedade. Weizenbaum dedicou-se a discutir o poder político e social dessas tecnologias, apontando que, em alguns casos discutíveis, caberia à sociedade estabelecer o controle daquilo que deveria ou não ser levado adiante.

O GPT-3 (Generative Pre-trained Transformer) é um modelo de linguagem autorregressivo de terceira geração, que usa o aprendizado profundo para produzir textos semelhantes a textos gerados por humanos. É um sistema computacional projetado para gerar sequências de palavras, códigos ou outros símbolos, a partir de uma fonte de entrada chamada ‘prompt’. O modelo de linguagem é treinado em agigantados conjuntos de dados, compostos de textos extraídos da Wikipedia, livros e textos coletados na internet, além de arquivos de códigos de programas obtidos no repositório público do Github, que costuma compartilhar softwares de código aberto.

Em novembro de 2022, a empresa de pesquisa em inteligência artificial sem fins lucrativos OpenAI anunciou sua nova ferramenta de processamento de linguagem natural, o ChatGPT, um chatbot projetado para simular conversação humana, em resposta a solicitações ou perguntas. ChatGPT é um modelo grande de linguagem (Large Language Model – LLM), com 175 bilhões de parâmetros, treinado em uma imensa base de dados, capaz de aprender de forma autônoma e produzir textos sofisticados, aparentemente inteligentes. Os parâmetros são chave para os algoritmos de aprendizado de máquina, pois representam aquilo que é aprendido pelo modelo com os dados de treinamento.

A inteligência artificial generativa descreve algoritmos que podem ser usados para gerar novos conteúdos, incluindo textos, áudios, imagens, vídeos, códigos e simulações. Modelos generativos de linguagem, como o ChatGPT, ou de imagens, como o DALL-E, são capazes de criar textos e imagens sintéticos por amostragem condicional do modelo, dada uma solicitação escrita por humanos ou por outros ‘bots’.

Esses modelos são treinados para corresponder à distribuição de conteúdo gerado por humanos, com resultados que mostram, em muitos casos, a incapacidade dos humanos de distinguir os conteúdos sintéticos produzidos por máquinas. Embora os conteúdos sintéticos, como textos, artigos ou mesmo imagens, pareçam convincentes, é importante enfatizar que são criações fictícias dos algoritmos que podem estar incorretos factualmente. Apesar dos avanços recentes dos modelos de linguagem, existem sérias limitações que precisam ser analisadas.

Embora os conteúdos sintéticos, como textos, artigos ou mesmo imagens, pareçam convincentes, é importante enfatizar que são criações fictícias dos algoritmos que podem estar incorretos factualmente

As respostas do ChatGPT nem sempre estão corretas. Na verdade, muitas vezes, acontece o que é chamado de alucinação – uma resposta da ferramenta de inteligência artificial que não parece ser justificada por seus dados de treinamento. Abordar a veracidade dos resultados do ChatGPT é um grande desafio de pesquisa, pois a ferramenta não oferece referências ou links como fontes de informações para verificar a veracidade do resultado.

As respostas do ChatGPT nem sempre estão corretas. Na verdade, muitas vezes, acontece o que é chamado de alucinação – uma resposta da ferramenta de inteligência artificial que não parece ser justificada por seus dados de treinamento

O perigo é que o usuário não consegue saber quando a resposta do ChatGPT está incorreta, a menos que já conheça a resposta correta.

Assim, um aspecto preocupante com a rápida popularidade e adoção de ferramentas como o ChatGPT é a falta de transparência dessas tecnologias. Os conjuntos de treinamento, a origem dos dados, os processos de rotulação de dados e imagens e os algoritmos usados não estão disponíveis publicamente. Explicabilidade, interpretabilidade e inteligibilidade são conceitos essenciais para promover compreensão, segurança e confiança no uso de algoritmos de inteligência artificial e do ChatGPT – sobretudo, em domínios de ‘alto risco’, como a medicina.

Há necessidade de estudos e pesquisas sobre os riscos que o ChatGPT representa para a sociedade e para cada de um nós. São múltiplas as ameaças em potencial, que incluem vieses discriminatórios, estereótipos, desinformação, violação de privacidade e concentração de poder em poucos grupos econômicos.

São múltiplas as ameaças em potencial, que incluem vieses discriminatórios, estereótipos, desinformação, violação de privacidade e concentração de poder em poucos grupos econômicos

Considerando que as tecnologias de inteligência artificial generativa podem ter presença significativa na educação e na ciência, é preciso desenvolver mecanismos e regras de responsabilização, para evitar o uso fraudulento e malicioso dessas ferramentas. A China, por exemplo, tem criado mecanismos de regulação, que exigem que conteúdos sintéticos, em texto, imagem ou vídeo, estejam visivelmente rotulados como tais para os usuários.

São muitas e diversas as consequências sociopolíticas dessas tecnologias. Há, em primeiro lugar, uma forte preocupação com os impactos que tais dispositivos podem ter sobre o mercado de trabalho, uma vez que mais funções e ocupações podem ser vistas como obsoletas, demandando transformações profundas nesse universo. A própria ideia do que é trabalho e a clássica distinção entre mão de obra manual e mão de obra intelectual veem-se amplamente desafiadas.

Há, em segundo lugar, uma forte preocupação ética sobre autoria e plágio. Tecnologias de Inteligência Artificial generativa podem borrar ainda mais a ideia de autoria, materializando complexas tramas intertextuais, que são apropriadas por atores diversos. E elas borram autoria em duas direções: primeiro, porque se apropriam de fragmentos e ideias de outros autores sem crédito ou remuneração; segundo, porque facilitam que pessoas se apropriem das ideias de outras e das próprias novas construções como se fossem suas, impedindo a explicitação do cruzamento de vozes que constitui os discursos.

Há, em terceiro lugar, o risco de enfraquecimento de instituições tradicionalmente vinculadas à produção de informações e conteúdos. Institutos de pesquisa, universidades e meios de comunicação podem sofrer grandes abalos não apenas de receitas, mas também de legitimidade pública, quando pensamos nas consequências de longo prazo dessas tecnologias.

Observa-se, em quarto lugar, a possibilidade de enrijecimento de uma fonte privada de informação, que é potencialmente enviesada e raramente submetida a questionamentos políticos. Teríamos, assim, novos oráculos técnicos em quem se confia piamente, mesmo que a realidade indique o contrário. Confiança essa que pode retroalimentar formas excludentes de organização social, como a pesquisa em IA tem demonstrado de forma sistemática e consistente.

Poderíamos continuar elencando possíveis impactos e desafios. Interessa-nos, contudo, chamar a atenção para o fato de muitos deles serem atravessados por um mesmo e macroprocesso de transformação daquilo que cientistas sociais chamam de esfera pública. Trata-se de um âmbito discursivo fluido e abstrato, em que questões de relevância pública ganham existência comum e são processadas por atores a partir de diferentes perspectivas.

A esfera pública é essencial à democracia e está ancorada em ecossistemas comunicacionais que se transformam historicamente, mas que dependem de nossa capacidade de produzir sentidos em coletividade. Sentidos esses que são tensos, controversos e disputados, mas que se referem a um terreno comum da política.

Tecnologias de Inteligência Artificial generativa afetam o ecossistema comunicacional, promovendo reestruturações que alimentam desafios colocados às democracias. Um desses desafios importantes tem a ver com a capacidade de cidadãos serem ouvidos pela comunidade política. Muito da teoria democrática enquadrou essa questão a partir da ideia de liberdade de expressão. Afinal, em contraposição a monarquias absolutistas ou a regimes autoritários de natureza diversa, as democracias precisavam garantir direitos fundamentais básicos, incluindo a possibilidade de pensar, acreditar e dizer o que se pensa.

Tecnologias de Inteligência Artificial generativa afetam o ecossistema comunicacional, promovendo reestruturações que alimentam desafios colocados às democracias

Pouco a pouco, teorias democráticas fizeram um movimento no sentido de reconhecer que não bastava poder se expressar, era fundamental ser ouvido e considerado. Isso se torna ainda mais evidente, em contextos nos quais há muita possibilidade de fala, mas poucas chances de ser ouvido. A abundância comunicativa das mídias digitais saturou a esfera pública de vozes, deixando os ouvidos ainda mais raros e escassos para o processamento de todas elas. É nesse sentido, que as teorias democráticas têm enfatizado a necessidade de assegurar formas institucionais e procedimentais de escuta para que cidadãos sejam de fato escutados.

Mas o que tudo isso tem a ver com a IA generativa do ChatGPT e similares? Tais tecnologias afetam o contexto de produção de fala e escuta, alterando os regimes de visibilidade que permitem pensar a escuta democrática. Num cenário de profusão de vozes, essas tecnologias tendem a se tornar dispositivos de vocalização mais potentes, recebendo mais atenção que outras fontes e, de certo modo, abafando-as. Podem tornar-se, nesse sentido, condensadores de perspectivas, dificultando que vozes e opiniões alternativas venham à tona.

Além disso, essas tecnologias podem tornar mais complexa a responsabilização por falas, o que dificulta a regulação democrática da expressão. O que acontece, por exemplo, se tais dispositivos começam a reproduzir discursos de ódio? Quem deve ser responsabilizado por isso? Como lidar com uma esfera pública tomada por sínteses linguageiras que podem não expressar opiniões de grupos específicos? E se tais sínteses se tornarem dominantes e convencerem as pessoas de visões e desejos que não tinham a priori? Contribuirão elas para a desmobilização de grupos que reivindicam mudança? Poderão elas alimentar revoltas? Como elas alterarão as atividades de lobby político? Em suma, que consequências políticas podem ter esses atos de fala, já que discursos são, em si, formas de ação? E, como a aparente despersonalização do dizer pode afetar as relações políticas em uma democracia?

Essas questões dizem respeito a transformações estruturais por que têm passado os regimes políticos em um contexto de crescente adoção de tecnologias de IA para tomadas de decisão diversas. A IA generativa talvez seja a ponta de um iceberg massivo, mas que tem a vantagem de, pelo menos, chamar a atenção para a presença e as possíveis consequências da IA nas sociedades contemporâneas.

Uma nova mudança estrutural da esfera pública desafia os regimes democráticos vigentes. São visíveis os problemas com bolhas e câmaras de eco que persistem em plataformas de mídias sociais, como Twitter, Facebook ou TikTok. Tecnologias como ChatGPT proporcionam potencialmente um controle do que se fala e do que se ouve na esfera pública, sem a necessidade de editoriais ou controle do conteúdo.

São novas perspectivas que surgem da conveniência para o usuário de uma tecnologia como essa para ter a informação quase que em tempo real, sem intermediações, que não as dos algoritmos, e sem requerer formas de aprendizado pelo que se ouve e fala. Aprendizado esse que passa a ser exercido automaticamente por meio de algoritmos que fazem por nós, em muitas situações, escolhas que influenciam a vida das pessoas.

O futuro reserva os desafios de compreender o alcance das consequências dessas ferramentas no cotidiano dos cidadãos e as implicações para o funcionamento das já combalidas democracias mundo afora. O ChatGPT proporciona o controle daquilo que se fala e do que se ouve em arenas públicas cada vez mais intensamente transformadas. Mudamos o meio de fala e a audiência sem que percebamos as consequências democráticas desse processo.

John Dewey, um filósofo estadunidense do século 20, defendia que sociedades democráticas requerem formas de aprendizado plural e participativo para que valores como equidade e liberdade prosperassem. Discursos, falas e audiências plurais seriam essenciais para o funcionamento de regimes democráticos. Democracia requer formas de convivência e conhecimento humanos.

O controle do discurso que emerge com as IAs generativas põe em xeque a capacidade humana de discutir democraticamente os problemas públicos e suas soluções. Assim, tecnologias disruptivas como o ChatGPT requerem mecanismos de responsabilização de inteligências artificiais que emergem em diversos campos do conhecimento. São várias as discussões que surgem, tais como se inteligências artificiais podem ser juridicamente responsabilizadas, cabendo essa responsabilidade a empresas ou designers dessas tecnologias.

Da mesma forma, que mecanismos de regulação devem emergir para lidar com tecnologias disruptivas e quais mecanismos de transparência devem ser assegurados sobre bases de dados, modelos de treinamento e resultados?

Os desafios contemporâneos são enormes. Resta a governos, parlamentos e sistemas judiciais criarem parâmetros e limites, não com base apenas em aspectos éticos, mas, principalmente, sobre as consequências sociais e políticas de tais tecnologias. Para que as tecnologias digitais sejam usadas com responsabilidade é necessário estabelecer políticas e regulamentações para proteção da sociedade contra consequências sociais adversas.