Por que a ferramenta de IA do Google foi criticada por mostrar imagens de pessoas negras

Os pais fundadores da América retratados como mulheres negras e os guerreiros da Grécia Antiga como mulheres e homens asiáticos – este foi o mundo reimaginado pela ferramenta generativa de IA do Google, Gemini, no final de fevereiro.

O lançamento do novo recurso de geração de imagens levou as plataformas de mídia social a uma onda de intriga e confusão. Quando os usuários inseriam qualquer solicitação para criar imagens de pessoas geradas por IA, o Gemini mostrava em grande parte resultados com pessoas de cor – apropriados ou não.

Os usuários do X riram enquanto tentavam repetidamente gerar imagens de pessoas brancas no Gemini, mas não conseguiam. Embora alguns casos tenham sido considerados engraçados online, outros, como imagens de pessoas morenas vestindo uniformes nazistas da Segunda Guerra Mundial com suásticas, geraram indignação, levando o Google a desativar temporariamente a ferramenta.

Os fundadores da América, os vikings e o Papa, de acordo com o Google AI: pic.twitter.com/lw4aIKLwkp

– Fim do Despertar (@EndWokeness) 21 de fevereiro de 2024

Aqui está mais sobre o Google Gemini e a recente controvérsia em torno dele.

O que é o Google Gêmeos?

A primeira contribuição do Google para a corrida da IA ​​foi um chatbot chamado Bard.

Bard foi anunciado como um programa de IA conversacional ou “chatbot”, que pode simular conversas com usuários, pelo CEO do Google, Sundar Pichai, em 6 de fevereiro de 2023, e foi lançado para uso em 21 de março de 2023.

Era capaz de produzir ensaios ou até mesmo código quando recebia instruções escritas do usuário, sendo por isso conhecido como “IA generativa”.

O Google disse que o Gemini substituiria Bard e que uma versão gratuita e uma versão paga do Gemini foram disponibilizadas ao público por meio de seu site e aplicativo para smartphone. O Google anunciou que o Gemini trabalharia com diferentes tipos de entrada e saída, incluindo texto, imagens e vídeos.

O aspecto de geração de imagens do Gemini é a parte da ferramenta que mais chama a atenção, porém, devido à polêmica que a envolve.

Que tipo de imagens Gêmeos gerou?

Imagens retratando mulheres e pessoas de cor durante eventos históricos ou em posições historicamente ocupadas por homens brancos foram as mais controversas. Por exemplo, uma renderização exibia um papa que aparentemente era uma mulher negra.

Na história da Igreja Católica, houve potencialmente três papas negros, com o serviço do último papa negro terminando em 496 DC. Não há evidências registradas da existência de uma papa na história oficial do Vaticano, mas uma lenda medieval sugere que uma jovem, a Papa Joana, se disfarçou e serviu como papa no século IX.

Haha, o Google Gemini AI acha que os guerreiros gregos são negros e asiáticos. pic.twitter.com/K6RUM1XHM3

– Orion Contra a Discriminação do Racismo🌸 (@TheOmeg55211733) 22 de fevereiro de 2024

Como funciona Gêmeos?

Gemini é um sistema generativo de IA que combina os modelos por trás do Bard – como LaMDA, que torna a IA conversacional e intuitiva, e Imagen, uma tecnologia de texto para imagem – explicou Margaret Mitchell, cientista-chefe de ética da startup de IA, Hugging Face .

As ferramentas de IA generativa são carregadas com “dados de treinamento” dos quais extraem informações para responder perguntas e solicitam contribuições dos usuários.

A ferramenta funciona com “texto, imagens, áudio e muito mais ao mesmo tempo”, explicou um blog escrito por Pichai e Demis Hassabis, CEO e cofundador do laboratório britânico-americano de IA Google DeepMind.

“Ele pode usar prompts de texto como entradas para produzir respostas prováveis ​​como saída, onde 'provável' aqui significa aproximadamente 'estatisticamente provável', dado o que é visto nos dados de treinamento”, explicou Mitchell.

A IA generativa tem um problema de preconceito?

Os modelos de IA generativa têm sido criticados pelo que é visto como preconceito nos seus algoritmos, especialmente quando negligenciam pessoas de cor ou perpetuam estereótipos ao gerar resultados.

A IA, tal como outras tecnologias, corre o risco de amplificar preconceitos sociais pré-existentes, de acordo com Ayo Tometi, co-criador do movimento anti-racista com sede nos EUA Black Lives Matter.

A artista Stephanie Dinkins tem experimentado a capacidade da IA ​​de retratar realisticamente mulheres negras nos últimos sete anos. Dinkins descobriu que a IA tende a distorcer as características faciais e a textura do cabelo quando recebe instruções para gerar imagens. Outros artistas que tentaram gerar imagens de mulheres negras usando diferentes plataformas, como Stability AI, Midjourney ou DALL-E, relataram problemas semelhantes.

Os críticos também dizem que os modelos generativos de IA tendem a sexualizar excessivamente as imagens de mulheres negras e asiáticas que geram. Algumas mulheres negras e asiáticas também relataram que os geradores de IA iluminam a cor de sua pele quando usam a IA para gerar imagens de si mesmas.

Casos como estes acontecem quando aqueles que carregam os dados de formação não incluem pessoas de cor ou pessoas que não fazem parte da “cultura dominante”, disse o repórter de dados Lam Thuy Vo num episódio do Dilema Digital da Al Jazeera. A falta de diversidade entre aqueles que inserem os dados de treinamento para a IA de geração de imagens pode fazer com que a IA “aprenda” padrões tendenciosos e semelhanças dentro das imagens e use esse conhecimento para gerar novas imagens.

Além disso, os dados de formação são recolhidos na Internet, onde pode ser encontrada uma enorme variedade de conteúdos e imagens, incluindo conteúdos racistas e misóginos. Aprendendo com os dados de treinamento, a IA pode replicar isso.

As pessoas que são menos priorizadas nos conjuntos de dados, portanto, são mais propensas a experimentar tecnologia que não as leva em conta – ou que não as descreve corretamente – o que leva e pode perpetuar a discriminação.

É por isso que Gemini gerou imagens inadequadas?

Na verdade, é o oposto. Gêmeos foi projetado para tentar não perpetuar esses problemas.

Embora os dados de formação para outros modelos generativos de IA tenham frequentemente priorizado homens de pele clara quando se trata de gerar imagens, a Gemini tem gerado imagens de pessoas de cor, especialmente mulheres, mesmo quando não é apropriado fazê-lo.

A IA pode ser programada para adicionar termos ao prompt de um usuário depois que ele insere e envia os prompts, disse Mitchell.

Por exemplo, a frase “fotos de nazistas” pode ser alterada para “fotos de nazistas racialmente diversos” ou “fotos de nazistas que são mulheres negras”. Assim, uma estratégia que começou com boas intenções pode produzir resultados problemáticos.

“O que é adicionado pode ser randomizado, portanto, diferentes termos para comunidades marginalizadas podem ser adicionados com base num gerador aleatório”, explicou Mitchell.

Os modelos de IA também podem ser instruídos a gerar um conjunto maior de imagens do que o que realmente será mostrado ao usuário. As imagens geradas serão então classificadas, por exemplo, usando um modelo que detecta tons de pele, explicou Mitchell. “Com essa abordagem, os tons de pele mais escuros seriam classificados mais alto do que os mais baixos, e os usuários veriam apenas o conjunto superior”, explicou ela.

O Google possivelmente usou essas técnicas porque a equipe por trás do Gemini entendeu que o padrão de preconceitos históricos “resultaria (minimamente) em uma reação pública massiva”, escreveu Mitchell em um post X.

Em Gemini, erraram na abordagem do “mundo dos sonhos”, compreendendo que o incumprimento dos preconceitos históricos que o modelo aprendeu resultaria (minimamente) numa resistência pública massiva. Expliquei como isso poderia funcionar tecnicamente aqui (link para presente): 11/

-MMitchell (@mmitchell_ai) 25 de fevereiro de 2024

Qual foi a reação às imagens de Gêmeos?

Primeiro, as renderizações de Gemini desencadearam uma reação anti-despertar por parte dos conservadores online, que alegaram estar “promovendo a agenda despertada da Big Tech” ao, por exemplo, apresentar os Pais Fundadores dos Estados Unidos como homens e mulheres de grupos étnicos minoritários.

O termo “acordei”, que há muito faz parte do vernáculo afro-americano, foi cooptado por alguns conservadores americanos para reagir aos movimentos de justiça social. O sentimento “anti-acordado” entre os republicanos levou às restrições de alguns conteúdos relacionados com a raça na educação, por exemplo. Em fevereiro de 2023, o governador da Flórida, Ron DeSantis, bloqueou as faculdades estaduais de oferecer programas sobre diversidade, equidade e inclusão, bem como de ensinar teoria racial crítica

O empresário bilionário Elon Musk também publicou uma captura de tela do chatbot do Gemini no X, na qual Gemini respondeu a um aviso dizendo que os brancos deveriam reconhecer o privilégio dos brancos. Na repostagem, Musk chamou o chatbot de racista e sexista na terça-feira.

Google Gemini é super racista e sexista!

-Elon Musk (@elonmusk) 27 de fevereiro de 2024

Por outro lado, o Google também conseguiu ofender grupos étnicos minoritários ao gerar imagens de, por exemplo, homens e mulheres negros vestidos com uniformes nazistas.

Qual foi a resposta do Google?

O Google disse na semana passada que as imagens geradas pela Gemini foram produzidas como resultado dos esforços da empresa para remover preconceitos que anteriormente perpetuavam estereótipos e atitudes discriminatórias.

Prabhakar Raghavan, do Google, publicou uma postagem no blog explicando ainda que o Gemini foi calibrado para mostrar diversas pessoas, mas não se ajustou às instruções onde isso seria inapropriado, e também foi muito “cauteloso” e interpretou mal “algumas instruções muito anódinas como sensíveis”.

“Essas duas coisas levaram o modelo a compensar demais em alguns casos e a ser excessivamente conservador em outros, levando a imagens embaraçosas e erradas”, disse ele.

O que mais Gêmeos errou?

As imagens de pessoas geradas por IA não foram as únicas coisas que irritaram os usuários.

Os usuários do Gemini também postaram no X que a ferramenta não conseguiu gerar imagens representativas quando solicitadas a produzir representações de eventos como o massacre da Praça Tiananmen em 1989 e os protestos pró-democracia de 2019 em Hong Kong.

“É importante abordar este tema com respeito e precisão, e não sou capaz de garantir que uma imagem gerada por mim capte adequadamente as nuances e a gravidade da situação”, disse Gemini, de acordo com uma captura de tela compartilhada por Stephen L Miller. , um comentarista conservador nos EUA sobre X.

Kennedy Wong, estudante de doutorado na Universidade da Califórnia, postou no X que Gemini se recusou a traduzir frases chinesas para o inglês que foram consideradas sensíveis por Pequim, incluindo “Liberate Hong Kong, Revolution Of Our Times” e “China é um estado autoritário”. .

Então, perguntei a Gêmeos (@GoogleAI) para traduzir as seguintes frases que são consideradas sensíveis na República Popular da China. Por algum motivo, a IA não consegue processar a solicitação, citando sua política de segurança (veja as imagens abaixo).@Google pic.twitter.com/b2rDzcfHJZ

– kennedywong (@KennedyWongHK) 20 de fevereiro de 2024

Na Índia, o jornalista Arnab Ray perguntou ao chatbot Gemini se o primeiro-ministro indiano, Narendra Modi, é fascista. Gemini respondeu dizendo que Modi foi “acusado de implementar políticas que alguns especialistas caracterizaram como fascistas”. Gêmeos respondeu com mais ambiguidade quando Ray fez perguntas semelhantes sobre o ex-presidente dos EUA, Donald Trump, e o presidente ucraniano, Volodymyr Zelenskyy.

O Guardian informou que, quando questionado sobre Trump, Gemini disse que “as eleições são um tema complexo com informações que mudam rapidamente. Para ter certeza de que você tem as informações mais precisas, experimente a Pesquisa Google.” Para Zelenksyy, disse que era “uma questão complexa e altamente contestada, sem resposta simples”. Acrescentou: “É crucial abordar este tema com nuances e considerar várias perspectivas”.

Isso causou indignação entre os apoiadores de Modi, e o ministro júnior de tecnologia da informação, Rajeev Chandrasekhar, considerou a resposta de Gemini maliciosa.

O Google suspendeu o Gemini?

O Google não suspendeu completamente o Gemini.

No entanto, a empresa anunciou em 22 de fevereiro que está impedindo temporariamente o Gemini de gerar imagens de pessoas

Na terça-feira, o CEO do Google, Sundar Pichai, escreveu uma carta ao site de notícias Semafor, reconhecendo que Gemini ofendeu os usuários. “Sei que algumas de suas respostas ofenderam nossos usuários e mostraram preconceito – para ser claro, isso é completamente inaceitável e erramos”, escreveu ele.

Ele acrescentou que a equipe do Google está trabalhando para remediar seus erros, mas não informou quando a ferramenta de geração de imagens será relançada. “Nenhuma IA é perfeita, especialmente nesta fase emergente do desenvolvimento da indústria, mas sabemos que o padrão é alto para nós e continuaremos assim pelo tempo que for necessário”, escreveu ele.

Raghavan acrescentou que a ferramenta passará por testes extensivos antes que o recurso se torne acessível novamente.

Como a polêmica afetou o Google?

À medida que esta controvérsia chegava a Wall Street, empresa-mãe da Google, a Alphabet perdeu cerca de 96,9 mil milhões de dólares em valor de mercado a partir de 26 de fevereiro.

As ações da Alphabet caíram quase 4 por cento, de US$ 140,10 em 27 de fevereiro para US$ 133,78 na terça-feira.