Pular para o conteúdo
  • BTC $62.478 −3,2%
  • ETH $1.765 −2,3%
  • SOL $72,89 −1,1%
  • BNB $578,50 −2,3%
  • XRP $0,9643 −0,7%
  • DOGE $0,0584 −1,9%
  • ADA $0,1502 −2,5%

Wikimedia sob pressão: aumento do tráfego em 50% por culpa dos bots AI

A ascensão dos bots para o data scraping

No coração do universo digital do conhecimento livre, Wikimedia enfrenta hoje um dos desafios mais complexos de sua história recente: a onda crescente de bot automáticos AI que saqueiam sistematicamente seus conteúdos. 

Em particular, nos últimos meses verificou-se um aumento de 50% do tráfego gerado pelos chamados crawler AI, que está colocando à prova tanto a capacidade técnica quanto a sustentabilidade econômica da plataforma.

Cresce o impacto da inteligência artificial (IA) nas infraestruturas digitais: o caso Wikimedia

A partir de janeiro de 2024, foi registado um crescimento vertiginoso no volume de dados descarregados de plataformas como a Wikipedia e os outros projetos Wikimedia. 

Este aumento não é atribuível a uma maior participação dos usuários humanos, mas sim a um uso sistemático e muitas vezes pouco regulamentado de bots automáticos empregados por empresas que desenvolvem modelos de inteligência artificial.

Esses instrumentos, projetados para coletar e analisar grandes quantidades de texto, imagens e outros conteúdos, utilizam Wikimedia como uma fonte primária de dados para o treinamento dos seus algoritmos. 

Uma operação que, se por um lado testemunha a centralidade da plataforma no ecossistema do conhecimento digital, por outro exerce uma pressão insustentável sobre as suas infraestruturas informáticas.

O problema não reside apenas na quantidade de dados transferidos. O verdadeiro ponto crítico é representado pela maneira como esses bots acessam os conteúdos. 

Na maioria dos casos, de fato, os pedidos são direcionados para páginas raras ou pouco visitadas, ou seja, aquelas que não estão incluídas nos sistemas de caching. Ou seja, mecanismos que permitem conservar temporariamente cópias das páginas mais consultadas para acelerar o carregamento.

Quando isso acontece, as solicitações devem ser geridas diretamente pelos servidores centrais, determinando um aumento significativo da carga de trabalho e, sobretudo, dos custos. 

Este cenário torna-se particularmente crítico em concomitância com eventos de grande relevância mediática, durante os quais o tráfego “humano” já atinge níveis elevados.

Bot fora de controle: ignoram as regras, burlam os bloqueios

Outra dimensão alarmante do fenômeno é representada pelo comportamento cada vez mais sofisticado e, por vezes, incorreto dos crawlers. Muitos desses bots, de fato, ignoram as convenções estabelecidas, iludem os sistemas de bloqueio automático e se disfarçam para parecer usuários legítimos.

Este tipo de conduta não só viola as normas de bom uso da rede, mas obriga as equipas técnicas da Wikimedia a uma monitorização contínua e a um uso constante de recursos para proteger a infraestrutura. 

Recursos que poderiam ser em vez disso destinados a potencializar a plataforma ou a enriquecer seus conteúdos.

Em resposta a esta situação, a Fundação Wikimedia está tentando não se limitar a uma reação técnica ou defensiva. A solução proposta vai além do simples contenimento do problema e visa a uma gestão colaborativa e sustentável do conhecimento livre.

Assim nasce WE5, uma nova iniciativa estratégica que tem o objetivo de promover abordagens mais justas e responsáveis na aquisição e no uso dos dados hospedados pela plataforma.

O projeto se apresenta como um convite às empresas tech e aos desenvolvedores de inteligência artificial. 

Em específico, um convite para respeitar as regras, contribuir para os custos de gestão da rede e garantir a sobrevivência da infraestrutura sobre a qual se baseia uma das principais fontes de informação livre do mundo.

Todo o caso levanta uma questão crucial para o futuro do acesso livre ao conhecimento: numa época em que os dados se tornaram a força vital da inteligência artificial, quem paga pela conservação e distribuição desses dados?

Wikimedia, desde sempre animada pelo princípio da gratuidade e da partilha, encontra-se agora na encruzilhada entre abertura e sustentabilidade.

Sem uma mudança de rumo por parte das big tech e dos atores que utilizam massivamente os conteúdos da fundação, o projeto poderia ser forçado a reduzir a acessibilidade ou a introduzir limites mais rigorosos para salvaguardar a sua infraestrutura.

Um apelo ao respeito pelo bem público digital

A mensagem que Wikimedia lança ao mundo é clara. Ou seja, que o conhecimento livre é um bem comum e, como tal, deve ser tratado com respeito e responsabilidade.

O uso para fins comerciais do enorme patrimônio informativo disponibilizado pela fundação deve ocorrer de forma transparente, conforme às regras e. Além disso, se necessário, acompanhado por formas de contributo equitativo.

Em um panorama digital cada vez mais dominado por algoritmos e automação, é fundamental garantir que o acesso ao conhecimento não seja comprometido pelos interesses económicos de poucos. 

Somente através de um diálogo aberto entre comunidades, instituições e empresas será possível manter vivo o sonho de uma enciclopédia global livre, acessível e sustentável.

Alessia Pannone

Todos os artigos de Alessia Pannone