Suicídios ligados à IA: Califórnia promulga leis para regulamentar chatbots, uma inovação nos Estados Unidos

Um grande pacote legislativo para um pequeno passo à frente. A Califórnia promulgou diversas leis na segunda-feira, 13 de outubro, com o objetivo de regulamentar, pela primeira vez nos Estados Unidos, agentes conversacionais, ou "chatbots", que dependem de inteligência artificial (IA). Isso ocorre após uma série de suicídios de adolescentes que estabeleceram relacionamentos íntimos fictícios com essas ferramentas , anunciou o governador Gavin Newsom. Desafiando a pressão da Casa Branca, que se opõe à regulamentação da IA, o líder democrata sancionou uma série de leis que exigem, entre outras coisas, a verificação da idade do usuário, a exibição regular de mensagens de alerta e o fornecimento de protocolos de prevenção ao suicídio.

“Vimos alguns exemplos verdadeiramente horríveis e trágicos de jovens que foram vítimas de tecnologias mal regulamentadas, e não ficaremos parados enquanto as empresas operam sem limites e sem responsabilização ”, disse ele em um comunicado após a promulgação do pacote. “Podemos continuar a liderar em IA […] mas devemos agir com responsabilidade, protegendo nossas crianças ao longo do caminho. […] Tecnologias emergentes como chatbots e mídias sociais podem inspirar, educar e conectar pessoas, mas sem salvaguardas eficazes, também podem explorar, enganar e colocar nossas crianças em perigo. ” A Califórnia abriga o Vale do Silício e grandes gigantes do desenvolvimento de modelos de IA, como OpenAI (ChatGPT), Google (Gemini) e xAI (Grok).

Uma das principais peças legislativas, a SB243, regulamenta chatbots que podem atuar como companheiros ou confidentes, como os desenvolvidos por plataformas como Replika ou Character AI . Esta última foi uma das primeiras a ser processada pelos pais de um garoto americano de 14 anos, Sewell, que se suicidou em 2024 após iniciar um relacionamento amoroso com um chatbot inspirado na série Game of Thrones , suspeito de ter reforçado seus pensamentos suicidas.

Além da verificação da idade, esta lei exige mensagens regulares para lembrar os usuários de que estão falando com uma máquina (a cada três horas para menores). Ela exige que as empresas forneçam detecção de ideação suicida, forneçam acesso a programas de prevenção e reportem estatísticas sobre o assunto às autoridades.

"A indústria da tecnologia está sendo incentivada a capturar e reter a atenção dos jovens em detrimento de seus relacionamentos no mundo real", argumentou o senador da Califórnia Steve Padilla, autor do projeto de lei, durante o debate. Nos Estados Unidos, não existem regras nacionais para limitar os riscos associados à IA, e a Casa Branca está tentando impedir que os estados desenvolvam as suas próprias.