Uso de IA em casos de abuso sexual infantil aumentou, diz relatório

A maioria delas estava relacionada à circulação de material envolvendo abuso sexual infantil (CSAM, na sigla em inglês), como fotos e vídeos.

Houve também aumento nas denúncias envolvendo extorsão sexual, na qual uma pessoa induz um pagamento em troca de não divulgar na internet imagens ou vídeos de nudez de uma criança. Em alguns casos, IA esteve envolvida.

IA envolvida nos casos

O NCMEC recebeu 4,7 mil denúncias de imagens ou vídeos com conteúdos de exploração sexual infantil feitas por IA generativa. De acordo com um porta-voz, a categoria só começou a ser contabilizada em 2023. A fala foi repercutida pelo The Guardian.

A organização ainda expressou preocupação com o uso da tecnologia para fins maliciosos, destacando a tendência de rápido crescimento dessa finalidade. Além disso, o conteúdo gerado artificialmente impede o reconhecimento da criança retratada na imagem, o que, por sua vez, impossibilitando a identificação de uma vítima em potencial na vida real.

Outros dados do relatório

• 90% das denúncias de abuso sexual infantil foram feitas fora dos Estados Unidos. Cerca de 64 mil delas era urgente e envolvia uma criança em perigo iminente;
• O aliciamento online (quando um adulto se comunica com uma criança pela internet com intenção de cometer um crime sexual) também aumentou: 300% desde 2022, com 186 mil denúncias;
• A plataforma que mais enviou denúncias de casos de abuso foi o Facebook (quase 18 milhões), seguido do Instagram (11,4 milhões) e do Google (1,4 milhão);
• O X (antigo Twitter) foi o que menos identificou casos de abuso sexual infantil online, com pouco menos de 600 mil denúncias.

Se você estranhou o número de denúncias feitas ser bem maior do que as contabilizadas, a metodologia do relatório explica que, das mais de 1,5 mil empresas que participam enviando os relatórios, nem todas o fazem com qualidade.

Por exemplo, autoridades policiais não podem tomar medidas legais a partir de denúncias feitas por algoritmos de moderação de conteúdo, sem intervenção humana. O NCMEC reforça a necessidade de melhoria nesse processo por parte das companhias, que, pelo menos nos Estados Unidos, são obrigadas a reportar os casos.

O número relativamente baixo de empresas que reportam e a má qualidade de muitos relatórios marcam a necessidade contínua de ação por parte do Congresso e da comunidade tecnológica global. (NCMEC, em relatório)