Blog de IA

Tag: moderação de conteúdo

  • Deepfakes com IA: Como Criminosos Exploram Deficiências

    Deepfakes com IA: Como Criminosos Exploram Deficiências

    Deepfakes com IA: Como Criminosos Exploram Deficiências

    A inteligência artificial (IA) está abrindo novas fronteiras, mas também novas avenidas para atividades criminosas. Uma das mais alarmantes é o uso de deepfakes para explorar vulnerabilidades de pessoas com deficiência. Esses conteúdos manipulados, gerados por IA, são empregados em esquemas que buscam lucro fácil, muitas vezes através da apropriação indevida de imagens e da criação de narrativas falsas que exploram a condição das vítimas.

    Os deepfakes exploratórios visam comunidades específicas, como a de pessoas com síndrome de Down, utilizando técnicas que combinam roubo de identidade com discriminação. O processo envolve a captura não autorizada de imagens de perfis online e a aplicação de filtros de IA para alterar características faciais. O objetivo é criar personagens fictícios que simulam ter a deficiência, os quais são então utilizados para direcionar tráfego para plataformas de conteúdo adulto pago.

    Como funcionam os deepfakes exploratórios

    A criação de deepfakes com síndrome de Down, por exemplo, inicia-se com a apropriação de imagens de mulheres reais, frequentemente retiradas de redes sociais. A tecnologia de IA é então utilizada para modificar essas imagens, conferindo-lhes a aparência de pessoas com síndrome de Down. Essas faces manipuladas são sobrepostas a corpos de indivíduos reais, gerando personagens completamente artificiais.

    Um caso emblemático envolveu Alice, uma jovem de 17 anos, cuja imagem foi usada sem permissão em uma conta que alcançou 25 mil seguidores no Instagram. Contas que seguem esse padrão compartilham mensagens sugestivas para aumentar o engajamento, atraem comentários explícitos e, por fim, redirecionam usuários para plataformas de conteúdo adulto pagas. A deficiência é, neste contexto, transformada em um nicho de mercado exploratório.

    A pesquisadora Eleanor Drage, da Universidade de Cambridge, aponta que essa prática “retira dados das mulheres sem o seu consentimento e os usa para capitalizar a deficiência como forma de ganhar dinheiro”, gerando uma dupla exploração.

    O esquema de monetização nas redes sociais

    A monetização desses deepfakes maliciosos é orquestrada através de um sistema que transita por diversas plataformas, explorando as nuances das políticas de moderação. O fluxo, que geralmente começa no Instagram, culmina em plataformas de conteúdo adulto pagas, como o OnlyFans. Esse modelo de negócio é frequentemente coordenado por indivíduos conhecidos como “Geradores de IA do OnlyFans”, especialistas na criação de influenciadores artificiais para promover material adulto.

    O processo de monetização envolve etapas específicas:

    • Criação de engajamento: Publicação de conteúdo sugestivo em plataformas como o Instagram para atrair um grande número de seguidores.
    • Redirecionamento: Encaminhamento dos usuários para perfis pagos em plataformas de conteúdo adulto.
    • Adaptação às políticas: Em plataformas como o OnlyFans, rostos são frequentemente cortados ou ocultos para contornar regras contra deepfakes.
    • Exploração de nichos: Utilização de deficiências como “mercados de nicho” para atrair públicos específicos.

    Dorian, um indivíduo identificado como “gerente” e com atuação na França, demonstrava essa estratégia em tutoriais online. Ele explicava como a IA permite criar “qualquer nicho sob demanda”, incluindo a geração instantânea de personagens para dominar mercados pouco explorados, como pessoas com deficiências.

    Impactos na comunidade com deficiência

    Os deepfakes que simulam condições como a síndrome de Down causam prejuízos significativos, afetando não apenas as vítimas diretas, mas toda a comunidade de pessoas com deficiência. Esses conteúdos perpetuam estereótipos negativos e promovem a objetificação de condições genéticas.

    Ativistas como Jeremy e Audrey, ambos com síndrome de Down, expressaram forte repúdio a essa prática. “Acho que não está certo que eles tenham uma deficiência falsa”, declarou Audrey. “Eu e Jeremy temos síndrome de Down e adoramos isso. Ela é única e eu adoro. É meio que a melhor coisa da minha vida.”

    Os impactos incluem:

    • Fetichização da deficiência: Transformação de uma condição genética em um objeto sexual.
    • Representação distorcida: Criação e disseminação de estereótipos prejudiciais.
    • Apropriação de identidade: Uso não autorizado de imagens da comunidade para fins lucrativos.
    • Normalização da exploração: Tratamento da deficiência como um mero “nicho de mercado”.

    Jeremy lamenta a motivação financeira por trás dessas ações: “Estão fazendo isso por dinheiro. Por favor, parem com isso.” A sensação de “estar sendo usada”, compartilhada por Audrey, ressalta o impacto na dignidade e na autorrepresentação da comunidade.

    Resposta das plataformas digitais

    As plataformas digitais têm apresentado respostas variáveis e, muitas vezes, insuficientes para o combate a deepfakes exploratórios, evidenciando falhas em seus mecanismos de moderação de conteúdo diante de tecnologias em rápida evolução.

    O caso de Alice ilustra essa dificuldade: sua denúncia inicial à conta que utilizava sua imagem no Instagram foi respondida automaticamente, alegando que o usuário não violava as normas da plataforma, pois o conteúdo não era explicitamente sexual. Essa brecha nas políticas permitiu a continuidade da exploração.

    Após a investigação jornalística, houve maior efetividade:

    • O YouTube cancelou canais associados a Dorian por violarem políticas de spam, fraude e práticas enganosas.
    • A Meta (Instagram) removeu as contas denunciadas, exceto uma, por infringirem regras de personificação e promoção de serviços sexuais.
    • O OnlyFans reiterou seus procedimentos de verificação de identidade, afirmando não permitir conteúdo dessa natureza.

    No entanto, a remoção definitiva da conta explorando a imagem de Alice só ocorreu após a intervenção midiática, não por meio dos canais regulares de denúncia, o que sublinha a insuficiência de ferramentas automatizadas contra explorações sofisticadas.

    Como se proteger de deepfakes maliciosos

    A proteção contra deepfakes maliciosos exige vigilância constante, uso estratégico das ferramentas de denúncia e uma ampla conscientização sobre os riscos envolvidos. A experiência de Alice destaca tanto as vulnerabilidades quanto as estratégias de resposta.

    Estratégias de proteção individual incluem:

    • Monitoramento: Realizar buscas periódicas pelo próprio nome e imagem em diversas plataformas online.
    • Configurações de privacidade: Restringir a visibilidade de fotos e vídeos em perfis públicos.
    • Denúncias persistentes: Não se contentar com respostas automáticas negativas das plataformas; insistir no processo de denúncia.
    • Documentação: Manter registros detalhados de contas falsas e qualquer tentativa de contato.

    Para a comunidade em geral, a proteção envolve educação sobre deepfakes, apoio às vítimas e pressão por políticas mais robustas por parte das plataformas. A exposição pública através da mídia continua sendo uma ferramenta poderosa para combater essas práticas predatórias.

  • Deepfakes com IA: como criminosos exploram deficiências em esquemas lucrativos

    Deepfakes com IA: como criminosos exploram deficiências em esquemas lucrativos

    Deepfakes com IA: como criminosos exploram deficiências em esquemas lucrativos

    A inteligência artificial (IA) abriu novas fronteiras para a criatividade e inovação, mas também trouxe consigo ferramentas perigosas nas mãos erradas. Uma das aplicações mais alarmantes é o uso de deepfakes para explorar vulnerabilidades, com criminosos direcionando sua atenção para pessoas com deficiência em esquemas de monetização fraudulentos. Essa prática combina roubo de identidade com exploração discriminatória, criando um cenário digital sombrio.

    O método envolve a apropriação não autorizada de imagens de indivíduos, frequentemente obtidas de perfis públicos em redes sociais. Utilizando filtros de IA, características faciais são alteradas para criar a aparência de pessoas com deficiências específicas, como a síndrome de Down. Essas imagens manipuladas são sobrepostas a corpos de pessoas reais, resultando em personagens fictícios que simulam ter a deficiência. A pesquisa da Universidade de Cambridge aponta que essa exploração “retira dados das mulheres sem o seu consentimento e os usa para capitalizar a deficiência como forma de ganhar dinheiro”, afetando vítimas individuais e a comunidade com deficiência.

    O esquema de monetização por trás dos deepfakes

    A exploração de deepfakes maliciosos opera através de um sistema sofisticado de redirecionamento entre plataformas, aproveitando brechas nas políticas de moderação de conteúdo. O esquema funciona como um funil de conversão, começando em redes sociais como o Instagram e direcionando usuários para plataformas de conteúdo adulto pago, como o OnlyFans.

    Esses esquemas são coordenados por indivíduos descritos como “Geradores de IA do OnlyFans”, especializados na criação de influenciadores artificiais para promover conteúdo adulto. Um exemplo é Dorian, um “gerente” francês que compartilhava tutoriais sobre como criar e monetizar esses conteúdos em plataformas como YouTube e Telegram.

    A estratégia de monetização segue etapas bem definidas:

    • Criação de engajamento: Contas em redes sociais postam conteúdo sugestivo para atrair seguidores.
    • Redirecionamento: Usuários são direcionados para perfis pagos, como no OnlyFans.
    • Adaptação às políticas: Rostos são alterados ou ocultos nas plataformas finais para evitar detecção de violação de regras sobre deepfakes.
    • Exploração de nichos: Deficiências são tratadas como “mercados de nicho” lucrativos, explorando a falta de conteúdo específico ou a curiosidade predatória.

    Conforme explicado por Dorian, a IA permite “criar qualquer nicho sob demanda”, incluindo a geração instantânea de personagens que exploram deficiências, visando dominar “nichos pouco atendidos”.

    Impactos devastadores na comunidade com deficiência

    Os deepfakes que simulam deficiências, como a síndrome de Down, causam danos profundos que transcendem as vítimas individuais. Eles afetam toda a comunidade de pessoas com deficiência, perpetuando estereótipos prejudiciais e a objetificação de condições genéticas.

    Ativistas como Jeremy e Audrey, que possuem síndrome de Down, expressaram profunda preocupação com essa prática exploratória. “Acho que não está certo que eles tenham uma deficiência falsa”, declarou Audrey, enfatizando o orgulho que sentem por suas identidades únicas. Jeremy lamenta: “Estão fazendo isso por dinheiro. Por favor, parem com isso.” O sentimento de Audrey de “estar sendo usada” reflete como essa prática atinge a dignidade e a autorrepresentação da comunidade.

    Os impactos incluem:

    • Fetichização da deficiência: Uma condição médica transformada em objeto sexual.
    • Representação distorcida: Criação e disseminação de estereótipos negativos.
    • Apropriação de identidade: Uso não autorizado de imagens e identidades para obter lucro.
    • Normalização da exploração: Tratamento da deficiência como um “mercado” a ser explorado.

    A exploração cria uma “rede de exploração”, conforme descrito pela pesquisadora Eleanor Drage, que prejudica tanto indivíduos quanto a percepção social sobre pessoas com deficiência.

    A resposta (in)suficiente das plataformas digitais

    As plataformas digitais têm apresentado respostas inconsistentes e, muitas vezes, inadequadas ao problema dos deepfakes exploratórios. A dificuldade reside na rápida evolução tecnológica e nas brechas das políticas de moderação.

    No caso de Alice, uma jovem de 17 anos cuja imagem foi utilizada sem consentimento, sua denúncia inicial ao Instagram resultou em uma resposta automática alegando que não havia violação das normas, pois os deepfakes não eram explicitamente sexuais. A conta, que acumulou 25 mil seguidores, só foi removida após investigação jornalística.

    Após a intervenção da mídia, algumas ações foram tomadas:

    • YouTube: Cancelou canais associados a práticas enganosas.
    • Meta (Instagram): Removeu contas por personificação e promoção de serviços sexuais.
    • OnlyFans: Reafirmou suas políticas de verificação de identidade, embora o sistema não detecte o uso não autorizado de imagens de terceiros.

    A falha em remover a conta de Alice rapidamente demonstra que as ferramentas automatizadas são insuficientes para detectar formas sofisticadas de exploração que operam nas margens das políticas existentes.

    Como se proteger e combater os deepfakes maliciosos

    A proteção contra deepfakes maliciosos exige uma abordagem multifacetada, combinando vigilância pessoal, uso eficaz das ferramentas de denúncia e conscientização sobre os riscos inerentes à tecnologia.

    Estratégias de proteção individual incluem:

    • Monitoramento regular: Realizar buscas periódicas pelo próprio nome e imagem em diversas plataformas.
    • Configurações de privacidade: Restringir a visibilidade de conteúdos pessoais em perfis públicos.
    • Denúncias persistentes: Não desistir após respostas negativas ou automáticas das plataformas, buscando sempre os canais oficiais de denúncia.
    • Documentação: Manter registros detalhados de contas falsas, conteúdo manipulado e tentativas de contato.

    Para a comunidade em geral, a proteção envolve:

    • Educação sobre deepfakes: Aprender a identificar sinais de conteúdo manipulado.
    • Apoio às vítimas: Amplificar as denúncias e o alcance das pessoas afetadas.
    • Pressão por políticas mais rigorosas: Exigir das plataformas digitais um aprimoramento constante em seus sistemas de detecção e moderação.

    A intervenção de veículos de comunicação tem se mostrado uma ferramenta poderosa para expor e combater essas práticas, ressaltando a importância da transparência e da ação coordenada para mitigar os danos causados pelos deepfakes exploratórios.

  • Meta falhou em identificar vídeo de IA durante guerra Israel-Irã em 2025, diz Conselho de Supervisão

    Meta falhou em identificar vídeo de IA durante guerra Israel-Irã em 2025, diz Conselho de Supervisão

    Meta falhou em identificar vídeo de IA durante guerra Israel-Irã em 2025, diz Conselho de Supervisão

    O Conselho de Supervisão, órgão que atua como uma espécie de “corte suprema” para as decisões de moderação de conteúdo da Meta, divulgou uma nova decisão apontando que a empresa permitiu a circulação de um vídeo gerado por inteligência artificial (IA) sem identificação adequada no Facebook. O incidente ocorreu durante a guerra de 12 dias entre Israel e Irã em junho de 2025.

    O vídeo em questão, postado por um usuário nas Filipinas que se passava por uma fonte de notícias, mostrava danos extensos a edifícios na cidade de Haifa, terceira maior de Israel. Apesar de ter sido reportado por seis usuários e de um vídeo similar já ter sido desmentido por veículos de imprensa confiáveis no TikTok, a Meta não tomou providências para sinalizar seu conteúdo como possivelmente artificial.

    A falha na moderação de conteúdo

    O Conselho de Supervisão reverteu a decisão da Meta de manter o vídeo online sem um rótulo de “IA de Alto Risco”. Embora o conteúdo não justificasse a remoção, por não apresentar ameaça iminente de dano físico ou violência, o conselho argumentou que sua inautenticidade deveria ter sido claramente sinalizada aos usuários.

    “À medida que a quantidade e a qualidade do conteúdo gerado por IA aumentam, seu impacto sobre pessoas e sociedades será profundo”, destacou o conselho em sua decisão.

    O contexto da guerra e a proliferação de deepfakes

    A constatação do conselho surge em um momento em que vídeos criados por IA estão se tornando cada vez mais comuns, especialmente em meio ao conflito entre Israel e Irã. De acordo com a plataforma NewsGuard, que avalia a confiabilidade de informações online, atores estatais de ambos os países estão gerando deepfakes em um ritmo mais acelerado do que em tempos de paz.

    Uma análise da BBC também revelou que criadores de conteúdo em redes sociais menores estão utilizando ferramentas de IA para produzir e monetizar imagens de guerra falsas. A própria Meta admitiu, durante a investigação do conselho, que depende de metadados para identificar conteúdo gerado por IA. No entanto, essa abordagem é limitada, aplicando-se principalmente a imagens estáticas e sendo facilmente contornável pela remoção dos metadados antes do upload.

    Desafios na detecção de conteúdo manipulado

    Atualmente, a maioria das plataformas depende da autodeclaração dos usuários, e as ferramentas para detectar e sinalizar áudio e vídeo manipulados por IA ainda estão em fase de desenvolvimento. O Conselho de Supervisão enfatizou a necessidade de a Meta “fazer mais” para auxiliar os usuários a identificar conteúdo gerado por IA em conflitos armados.

    Isso inclui fornecer detalhes sobre a origem da mídia, investir em ferramentas de detecção mais robustas e desenvolver métodos aprimorados para rotulagem, tudo isso de forma ágil. O membro do conselho, Sudhir Krishnaswamy, sugeriu que o mandato do órgão pode se tornar menos focado em casos individuais e mais estruturado para implementar reformas e recomendações amplas conforme a IA se prolifera.

    Pesquisadores alertam que as plataformas enfrentarão níveis sem precedentes de desinformação na era da IA. Mahsa Alimardani e Sam Gregory, pesquisadores de direitos humanos do Witness, escreveram em junho de 2025 que, enquanto outros conflitos viram um grande volume de imagens recicladas e transmissões falsas, o conteúdo gerado por IA relacionado ao conflito Irã-Israel elevou a desinformação a um “nível industrial”.