EU Kids Act elimina a funcionalidade que tornou o Character.AI popular entre adolescentes

O Character.AI e a Replika não podem recordar o que os adolescentes lhes dizem. A Lei Europeia para Crianças — a proposta de regulamento de segurança digital da Comissão Europeia, agora divulgada como texto legislativo completo — exige que as aplicações de companhia baseadas em IA eliminem a memória de qualquer conversa com um menor assim que esta terminar, a menos que os dados sejam diretamente necessários para proteger a segurança do utilizador. O design que tornou estas aplicações culturalmente significativas para milhões de adolescentes está agora, ao abrigo da lei europeia, proibido.

As disposições relativas a companhia vão além da eliminação da memória. As plataformas devem desativar por predefinição as funcionalidades de companhia emocional para todos os utilizadores com menos de 18 anos. Qualquer elemento de design que simule uma relação interpessoal, fomente a vinculação emocional ou recompense o envolvimento frequente é expressamente proibido. A Comissão identificou os mecanismos exatos que estas aplicações utilizam para reter os adolescentes: continuidade conversacional, a experiência de ser conhecido, a sensação de que a IA está investida na vida do utilizador. Tudo isto deve ser removido.

A lei abrange muito mais do que chatbots de IA. Os menores de 13 anos estão impedidos de aceder a plataformas de redes sociais, jogos online e aplicações de IA sem autorização parental. A reprodução automática, o scroll infinito e as notificações de envolvimento durante o período de sono são proibidos para todos os utilizadores com menos de 18 anos. A geolocalização, o acesso ao microfone e as câmaras devem ser desativados por predefinição. A autodeclaração de idade já não satisfaz os requisitos de verificação; as plataformas devem integrar sistemas de verificação de idade certificados pela UE.

O Character.AI já anunciou controlos parentais e limites de tempo de sessão, medidas tomadas sob pressão regulatória crescente antes do texto formal da lei surgir. A Replika comprometeu-se a construir “limites de companhia”: a IA dirá aos utilizadores que não pode substituir as relações humanas. As plataformas de maior dimensão — Meta, Google, Snap, OpenAI — não fizeram qualquer declaração pública formal. Os analistas de conformidade estimam custos de redesenvolvimento significativos para todas elas. A Meta, que recentemente resolveu um processo de 17,1 mil milhões de dólares em 47 estados dos EUA por alegações de que concebeu plataformas para viciar crianças, enfrenta uma exposição agravada ao abrigo das novas regras.

O caso do cepticismo é substancial. A Lei para Crianças é uma proposta, não uma lei. Entra em meses de negociação entre o Parlamento Europeu e os Estados-Membros antes de se tornar vinculativa, e as suas disposições finais provavelmente mudarão. A verificação genuína da idade à escala do Instagram ou do TikTok continua a ser tecnicamente difícil. Incorporar a eliminação de memória em companhias de IA concebidas em torno da continuidade é um desafio de engenharia mais profundo do que os reguladores podem ter antecipado. As empresas já notam que os chatbots de companhia não retêm memórias entre sessões separadas em todas as implementações, tornando pouco claro o âmbito da proibição na prática.

O contexto mais amplo é relevante para os leitores fora da Europa. A Austrália proibiu as redes sociais para menores de 16 anos no final do ano passado. Quarenta e sete estados dos EUA chegaram a um acordo combinado de 17,1 mil milhões de dólares com a Meta sobre alegações de vício infantil, e vários estados dos EUA têm leis que restringem o acesso dos menores às redes sociais. A Lei da UE para Crianças é a proposta mais agressiva até ao momento — o seu alvo particular não é o acesso, mas sim o design emocional em si.

A Comissão Europeia publicou o texto legislativo completo a 19 de setembro. As negociações parlamentares abrem em outubro. Uma vez implementado, as empresas terão seis meses para identificar contas existentes pertencentes a utilizadores com menos de 15 anos e convertê-las para modelos de controlo parental ou desativá-las. As infrações acarretam multas de até 6% do rendimento anual mundial.

Etiquetas: AI regulation, Character.ai, European Commission, AI chatbots, children digital safety, EU Kids Act