A confusão do deepfake de Taylor Swift poderia ter sido facilmente evitada.
Quando você consegue irritar a Casa Branca, o Personalidade do Ano da TIME e a mais dedicada base de fãs da cultura pop, você sabe que cometeu um erro.
Título: Como o Falha na Moderação de Conteúdo do X Exposta Questões Mais Amplas nas Plataformas Sociais
Você sabe que você estragou quando você ao mesmo tempo irritou a Casa Branca, a Pessoa do Ano da TIME e a base de fãs mais fanática da cultura pop. Foi isso que aconteceu na semana passada com o X, a plataforma de propriedade de Elon Musk anteriormente chamada de Twitter, quando imagens deepfake pornográficas geradas por IA da Taylor Swift viralizaram.
Uma das postagens mais difundidas dos deepfakes explícitos e não consensuais foi visualizada mais de 45 milhões de vezes, com centenas de milhares de curtidas. Isso sem contar todas as contas que compartilharam as imagens em postagens separadas – uma vez que uma imagem se espalha tanto, é basicamente impossível removê-la.
O Fiasco Taylor Swift: Uma Falha na Moderação
O X não possui a infraestrutura para identificar rapidamente e em grande escala conteúdo abusivo. Mesmo nos dias do Twitter, esse problema era difícil de solucionar, mas piorou muito desde que Musk demitiu grande parte da equipe do Twitter, incluindo a maioria das equipes de confiança e segurança. Então, a imensa e apaixonada base de fãs da Taylor Swift tomou medidas por conta própria, inundando os resultados de busca com consultas como “taylor swift ai” e “taylor swift deepfake” para dificultar a busca pelas imagens abusivas. Enquanto a secretária de imprensa da Casa Branca chamava o Congresso para tomar uma atitude, o X simplesmente baniu o termo de busca “taylor swift” por alguns dias. Quando os usuários pesquisavam o nome da cantora, viam uma mensagem informando que ocorreu um erro.
Essa falha na moderação de conteúdo se tornou uma notícia nacional, já que Taylor Swift é Taylor Swift. Mas se as plataformas sociais não podem proteger uma das mulheres mais famosas do mundo, quem elas podem proteger?
- 🚀 Giant Ventures lança fundos de $250 milhões para apoiar startups ...
- Demissões em massa um sinal dos tempos na indústria de tecnologia
- CEOs vs. Congress O Confronto para Proteger as Crianças Online
💬 Perguntas e Respostas dos Leitores:
P: Por que o X não conseguiu remover as imagens de deepfake abusivas da Taylor Swift? R: O X não possui a infraestrutura para identificar e remover rapidamente conteúdo abusivo em grande escala. Esse problema se intensificou desde a aquisição do Twitter por Elon Musk, onde um número significativo de funcionários do Twitter, especialmente as equipes de confiança e segurança, foram demitidos.
P: Como os fãs da Taylor Swift reagiram às imagens de deepfake? R: A base de fãs apaixonada da Taylor Swift tomou medidas por conta própria inundando os resultados de busca com consultas relacionadas a “taylor swift ai” e “taylor swift deepfake”. Sua intenção era tornar mais difícil para os usuários encontrarem as imagens abusivas.
A Falha da Moderação de Conteúdo
“Se o que aconteceu com a Taylor Swift acontecer com você, como está acontecendo com muitas pessoas, é provável que você não tenha o mesmo nível de apoio com base na influência, o que significa que você não terá acesso a essas comunidades de cuidado realmente importantes”, disse a Dra. Carolina Are, pesquisadora do Centre for Digital Citizens da Universidade Northumbria no Reino Unido, ao ENBLE. “E essas comunidades de cuidado são o que a maioria dos usuários está tendo que recorrer nessas situações, o que realmente mostra a falha na moderação de conteúdo.”
Banir o termo de busca “taylor swift” é como colocar uma fita adesiva em um cano estourado. Existem muitas maneiras óbvias de contornar isso, assim como os usuários do TikTok pesquisam “seggs” em vez de sexo. O bloqueio de busca foi algo que o X poderia implementar para parecer que eles estão fazendo algo, mas não impede as pessoas de simplesmente pesquisarem “t swift” em vez disso. Mike Masnick, fundador do Copia Institute e Techdirt, chamou esse esforço de “uma versão desajeitada de confiança e segurança”.
💬 Perguntas e Respostas dos Leitores:
P: Banir o termo de busca “taylor swift” é uma solução eficaz para evitar a disseminação de conteúdo abusivo? R: Banir o termo específico de busca é apenas uma medida superficial. Os usuários podem encontrar facilmente formas de contornar, como pesquisar variações como “t swift”. Essa abordagem não aborda efetivamente o problema fundamental das falhas na moderação de conteúdo.
P: Por que os sistemas de moderação de conteúdo muitas vezes falham em reagir de maneira eficaz em situações de crise? R: Os sistemas de moderação de conteúdo frequentemente falham em situações de crise porque replicam sistemas offline de abuso e patriarcado. Esses sistemas muitas vezes não têm a capacidade de responder às necessidades dos usuários e relatar problemas de forma eficaz.
Reestruturando a Moderação de Conteúdo
Então, o que X deveria ter feito para evitar o fiasco da Taylor Swift, afinal?
Are faz essas perguntas como parte de sua pesquisa e propõe que as plataformas sociais precisam passar por uma reforma completa de como lidam com a moderação de conteúdo. Recentemente, ela conduziu uma série de discussões em grupo com 45 usuários da internet de todo o mundo que são impactados pela censura e abuso, para emitir recomendações às plataformas sobre como promover mudanças.
Uma recomendação é que as plataformas de mídia social sejam mais transparentes com os usuários individuais sobre as decisões relacionadas a suas contas ou aos relatórios sobre outras contas.
“Você não tem acesso a um registro de caso, embora as plataformas tenham acesso a esse material – elas simplesmente não querem torná-lo público”, disse Are. “Acredito que, quando se trata de abuso, as pessoas precisam de uma resposta mais personalizada, contextual e rápida que envolva, se não uma ajuda presencial, pelo menos uma comunicação direta.”
X anunciou esta semana que contrataria 100 moderadores de conteúdo para trabalhar em um novo centro de “Confiança e Segurança” em Austin, Texas. Mas sob a supervisão de Musk, a plataforma não estabeleceu um precedente forte para proteger os usuários marginalizados contra abusos. Também pode ser desafiador levar Musk a sério, uma vez que o magnata tem um histórico longo de não cumprir suas promessas. Quando ele comprou o Twitter, Musk declarou que formaria um conselho de moderação de conteúdo antes de tomar decisões importantes. Isso não aconteceu.
💬 Perguntas e Respostas dos Leitores:
P: Quais são as recomendações para as plataformas de mídia social melhorarem a moderação de conteúdo? R: Uma recomendação é que as plataformas sejam mais transparentes com os usuários individuais, fornecendo insights sobre as decisões tomadas em relação às suas contas ou relatórios. Essa transparência incluiria compartilhar registros de casos para garantir uma resposta personalizada, contextual e rápida às necessidades dos usuários.
P: X está progredindo na melhoria da moderação de conteúdo? R: X anunciou recentemente planos para contratar 100 moderadores de conteúdo para um novo centro de “Confiança e Segurança” em Austin, Texas. No entanto, dada a história da plataforma sob a liderança de Musk, ainda há ceticismo em relação ao seu compromisso em proteger os usuários marginalizados.
O Papel das Empresas de Inteligência Artificial
No caso de deepfakes gerados por IA, a responsabilidade não recai apenas sobre as plataformas sociais. As empresas que criam produtos de IA generativa voltados para o consumidor também têm responsabilidade.
De acordo com uma investigação da 404 Media, as representações abusivas de Swift vieram de um grupo do Telegram dedicado à criação de deepfakes explícitos e não consensuais. Os usuários do grupo costumam usar o Microsoft Designer, que utiliza o DALL-E 3 da Open AI para gerar imagens com base nas diretrizes fornecidas. Em uma brecha que a Microsoft já resolveu, os usuários poderiam gerar imagens de celebridades escrevendo diretrizes como “taylor ‘cantora’ swift” ou “jennifer ‘atriz’ aniston”.
Um líder principal de engenharia de software da Microsoft, Shane Jones, escreveu uma carta ao procurador-geral do estado de Washington afirmando ter encontrado vulnerabilidades no DALL-E 3 em dezembro, o que tornava possível “burlar algumas das salvaguardas projetadas para impedir que o modelo criasse e distribuísse imagens prejudiciais”.
Jones alertou a Microsoft e a OpenAI para as vulnerabilidades, mas após duas semanas ele não recebeu nenhuma indicação de que as questões estavam sendo abordadas. Então, ele publicou uma carta aberta no LinkedIn para instar a OpenAI a suspender a disponibilidade do DALL-E 3. Jones avisou a Microsoft sobre sua carta, mas lhe foi solicitado que a retirasse rapidamente.
“Precisamos responsabilizar as empresas pela segurança de seus produtos e por seu dever de divulgar riscos conhecidos ao público”, escreveu Jones em sua carta ao procurador-geral do estado. “Os funcionários preocupados, como eu, não devem ser intimidados a ficar em silêncio.”
💬 Perguntas e Respostas dos Leitores:
P: Quem é responsável pela criação de deepfakes gerados por IA? R: A responsabilidade se estende não apenas às plataformas sociais, mas também às empresas que criam produtos de IA generativa voltados para o consumidor. Neste caso, as representações abusivas de Taylor Swift originaram-se de um grupo do Telegram que usava o Microsoft Designer e o DALL-E 3 da Open AI para gerar as imagens deepfake.
P: Como a Microsoft respondeu às vulnerabilidades descobertas no DALL-E 3? A: Shane Jones, líder principal de engenharia de software da Microsoft, alertou a Microsoft e a OpenAI sobre as vulnerabilidades no DALL-E 3. No entanto, ele não recebeu nenhuma indicação de que as questões estavam sendo abordadas, o que o levou a publicar uma carta aberta instando a OpenAI a suspender a disponibilidade do DALL-E 3. Pouco depois, ele foi solicitado a remover sua carta.
A Falta de Confiabilidade das Plataformas
À medida que as empresas mais influentes do mundo apostam alto em IA, as plataformas precisam adotar uma abordagem proativa para regular o conteúdo abusivo. No entanto, mesmo em uma época em que criar deepfakes de celebridades não era tão fácil, comportamentos desrespeitosos escapavam facilmente da moderação.
“Isso realmente mostra que as plataformas são pouco confiáveis,” disse Are. “As comunidades marginalizadas precisam confiar mais em seus seguidores e usuários do que nas pessoas tecnicamente responsáveis pela nossa segurança online.”
Em conclusão, o incidente de deepfake da Taylor Swift destaca a necessidade urgente de as plataformas sociais e empresas de IA lidarem com as falhas na moderação de conteúdo. Uma proibição superficial de termos de pesquisa não é suficiente para proteger os usuários de conteúdo abusivo. Transparência, respostas aprimoradas e maior responsabilidade são necessárias para salvaguardar a comunidade online. Conforme avançamos para um futuro impulsionado pela IA, é crucial priorizar os direitos e a segurança de todos os usuários, garantindo um ambiente digital mais seguro e inclusivo.
💬 Perguntas e Respostas do Leitor:
P: Como as plataformas podem se tornar mais confiáveis em termos de moderação de conteúdo? R: Para se tornarem mais confiáveis, as plataformas devem priorizar a transparência, criar respostas aprimoradas para relatórios de conteúdo e aumentar a responsabilidade pela segurança de seus usuários. Isso inclui uma melhor comunicação com os usuários individuais e fornecer acesso oportuno a informações sobre suas contas e relatórios.
P: Por que a confiança nas comunidades marginalizadas é essencial para navegar pela segurança online? R: As comunidades marginalizadas muitas vezes precisam contar com seus seguidores e usuários para obter suporte e segurança devido à falta de confiabilidade das plataformas. Construir confiança dentro dessas comunidades é fundamental para criar um ambiente online mais seguro.
Referências:
- Link específico: Swift retaliation: Fans strike back after explicit deepfakes flood X
- Link específico: X appears to restrict Japanese emergency alert account for hours during earthquake
- Link específico: Trust and safety
- Link específico: LG Gram Pro 2-in-1 hands-on: Lightweight convertible laptop gets better, faster OLED screen
- Link específico: EAGLES POTY leak suggests Ronaldo and Messi were both called
- Link específico: META’s content moderator subcontractor model faces legal squeeze in Spain
- Link específico: Streaming media company Plex raises new funds, nears profitability
- Link específico: Professor wins national writing competition with new novel AI wrote
📣 Compartilhe seus pensamentos sobre este artigo e a importância da moderação de conteúdo em plataformas sociais! 📣
