Desenvolvedores open source contra rastreadores de IA adotam provas de trabalho, labirintos e bloqueios para defender servidores Git e sites comunitários
Projetos de software livre e comunidades FOSS vêm protagonizando uma batalha crescente contra rastreadores de inteligência artificial. Os desenvolvedores open source contra rastreadores de IA relatam ataques que chegam a paralisar servidores Git, consumir recursos e forçar medidas extremas, como bloqueios por país, labirintos de conteúdo e desafios via prova de trabalho.
A questão começou a emergir quando bots modernos de IA passaram a ignorar regras básicas da web, como o arquivo robots.txt, e a se comportar de modo que muitos descrevem como predatório. Xe Iaso, desenvolvedor FOSS, descreveu o drama vivido em seu servidor Git com críticas que ecoam em toda a comunidade: “É inútil bloquear bots rastreadores de IA porque eles mentem, alteram seu user agent, usam endereços IP residenciais como proxies, entre outras artimanhas”.
Por que projetos FOSS são alvos
Os projetos open source compartilham uma característica que os torna especialmente vulneráveis: muita informação pública, infraestrutura frequentemente modesta e, em muitos casos, recursos financeiros limitados para mitigar tráfego malicioso. Como resultado, os rastreadores de IA podem causar impacto desproporcional em sites e servidores comunitários.
Xe Iaso relatou detalhes do comportamento agressivo: “Eles irão raspar seu site até que ele desabe e, depois, continuarão raspando. Clicarão em cada link de cada link de cada link, visualizando as mesmas páginas repetidas vezes. Alguns deles até clicarão no mesmo link várias vezes no mesmo segundo”. Esse padrão transforma raspagem em um ataque tipo DDoS, degradando a experiência de desenvolvedores e colaboradores.
O problema é tão disseminado que relatos incluem administradores que gastam uma parte significativa do tempo tentando mitigar esses rastreadores. Segundo a matéria, o CEO e fundador da SourceHut, Drew DeVault, relatou ter “gastado entre 20% e 100% do seu tempo semanal mitigando rastreadores LLM extremamente agressivos”. Em outros casos, sites como o LWN sofreram lentidão equivalente a tráfego em nível de DDoS.
Anubis e a defesa por vingança
Em resposta, surgiram soluções criativas. Xe Iaso criou o Anubis, um mecanismo de verificação baseado em prova de trabalho via reverse proxy que bloqueia bots e permite que navegadores humanos acessem conteúdo. O nome remete ao juiz mitológico: “Anubis pesava sua alma (seu coração) e, se estivesse mais pesada que uma pena, seu coração era devorado e você, bem, morria de forma definitiva”. Se o desafio é superado, uma imagem anime celebra o acesso, descrita pelo autor como “sua versão de antropomorfizar Anubis”.
A solução viralizou: o projeto foi publicado no GitHub em 19 de março e rapidamente acumulou “2.000 estrelas, 20 colaboradores e 39 forks”. A aceitação rápida evidencia que muitos desenvolvedores open source contra rastreadores de IA procuram alternativas práticas para conter raspagens abusivas.
Outras abordagens seguiram a lógica da vingança técnica. Ferramentas como Nepenthes, criada por um desenvolvedor anônimo conhecido como “Aaron”, montam labirintos de conteúdo falso para confundir e gastar recursos dos rastreadores. No Hacker News, usuários sugeriram envenenar caminhos proibidos com material absurdo para reduzir o valor de utilidade que bots extraem de páginas marcadas por robots.txt.
Respostas comerciais e dilemas éticos
Empresas também entram na disputa. A Cloudflare lançou a solução AI Labyrinth com o objetivo declarado de “desacelerar, confundir e desperdiçar os recursos de rastreadores de IA e outros bots que não respeitam diretrizes de ‘no crawl’”. Essa abordagem procura proteger sites direcionando bots para conteúdo irrelevante, em vez de simplesmente bloquear conexões.
Apesar da satisfação de alguns com táticas agressivas — DeVault comentou que “Nepenthes tem uma sensação satisfatória de justiça, pois alimenta os rastreadores com inconsistências e envenena suas fontes, mas, no final das contas, o Anubis foi a solução que funcionou para o meu site” — o mesmo desenvolvedor fez um apelo contundente: “Por favor, parem de legitimar LLMs, geradores de imagens de IA, GitHub Copilot ou qualquer outro tipo de lixo. Estou implorando: parem de usá-los, de falar sobre eles, de criar novos. Apenas parem.”
Enquanto soluções técnicas surgem e se espalham, a comunidade debate os limites éticos dessas defesas. Envenenar dados, criar conteúdo falso e bloquear países inteiros são medidas que, embora eficazes, levantam questões sobre colateralidade e responsabilidade digital.
No cerne do problema está uma escolha difícil para os projetos FOSS: tolerar raspagens e risco de indisponibilidade, ou usar estratégias cada vez mais inventivas para preservar recursos. A resposta dos desenvolvedores open source contra rastreadores de IA tem sido, até agora, uma mistura de engenhosidade técnica e humor ácido, mas a discussão sobre soluções permanentes e regulamentação ainda está apenas começando.
Para muitos, a esperança é que padrões e leis evoluam para responsabilizar agentes que coletam dados de forma predatória, enquanto comunidades mantêm ferramentas como Anubis e AI Labyrinth como escudos imediatos contra uma enxurrada de bots que não respeitam as regras básicas da web.








