Menos de algumas horas depois que o Snapchat lançou seu chatbot My AI para todos os usuários na semana passada, Lyndsi Lee disse à filha de 13 anos para ficar longe do recurso.
“É uma solução temporária até que eu saiba mais sobre isso e possa estabelecer alguns limites e diretrizes saudáveis”, disse Lee, que trabalha em uma empresa de software.
Ela se preocupa com a forma como My AI se apresenta para jovens usuários como sua filha no Snapchat.
O recurso é alimentado pela ferramenta de chatbot viral AI ChatGPT – e, como a plataforma, pode oferecer recomendações, responder a perguntas e conversar com os usuários.
Mas a versão do Snapchat tem algumas diferenças importantes: os usuários podem personalizar o nome do chatbot, criar um avatar Bitmoji personalizado para ele e trazê-lo para conversas com amigos.
O efeito líquido é que conversar com o chatbot do Snapchat pode parecer menos transacional do que visitar o site do ChatGPT. Também pode ser menos claro que você está falando com um computador.
“Acho que não estou preparado para saber como ensinar meu filho a separar emocionalmente humanos e máquinas quando eles são essencialmente iguais do ponto de vista dela”, disse Lee.
“Eu só acho que há uma linha muito clara que [o Snapchat] está cruzando”.
A nova ferramenta está enfrentando reações negativas não apenas dos pais, mas também de alguns usuários do Snapchat que estão bombardeando o aplicativo com críticas negativas sobre questões de privacidade, trocas “assustadoras” e incapacidade de remover o recurso de seus filhos, a menos que paguem por uma assinatura premium.
Embora alguns possam achar valor na ferramenta, as reações mistas indicam os riscos que as empresas enfrentam ao lançar novas tecnologias de inteligência artificial generativa em seus produtos, principalmente em produtos como o Snapchat, cujos usuários são mais jovens.
O Snapchat foi um dos primeiros parceiros de lançamento quando a OpenAI abriu o acesso ao ChatGPT para empresas terceirizadas, com muitas outras a serem seguidas.
Quase da noite para o dia, o Snapchat forçou algumas famílias e legisladores a enfrentar questões que podem parecer teóricas apenas alguns meses atrás.
Em uma carta aos CEOs do Snap e de outras empresas de tecnologia no mês passado, semanas após o lançamento do My AI para os assinantes do Snap, o senador democrata Michael Bennet levantou preocupações sobre as interações que o chatbot estava tendo com usuários mais jovens.
Em particular, ele citou relatos de que pode fornecer às crianças sugestões sobre como mentir para seus pais.
“Esses exemplos seriam perturbadores para qualquer plataforma de mídia social, mas são especialmente preocupantes para o Snapchat, que quase 60% dos adolescentes americanos usam”, escreveu Bennet.
“Embora o Snap admita que My AI é ‘experimental’, ela se apressou em inscrever crianças e adolescentes americanos em seu experimento social.”
Em uma postagem no blog na semana passada, a empresa disse: “My AI está longe de ser perfeita, mas fizemos muito progresso”.
Reação do usuário
Nos dias desde seu lançamento formal, os usuários do Snapchat expressaram suas preocupações.
Um usuário chamou sua interação de “aterrorizante” depois de dizer que mentiu sobre não saber onde o usuário estava localizado.
Depois que o usuário facilitou a conversa, ele disse que o chatbot revelou com precisão que ele morava no Colorado.
Em outro vídeo do TikTok com mais de 1,5 milhão de visualizações, um usuário chamado Ariel gravou uma música com introdução, refrão e acordes de piano escritos por My AI sobre como é ser um chatbot.
Quando ela enviou a música gravada de volta, ela disse que o chatbot negou seu envolvimento com a resposta: “Sinto muito, mas como modelo de linguagem de IA, não escrevo músicas”. Ariel chamou a troca de “assustadora”.
Outros usuários compartilharam preocupações sobre como a ferramenta entende, interage e coleta informações das fotos.
“Tirei uma foto… e dizia ‘belos sapatos’ e perguntei quem eram as pessoas na foto”, escreveu um usuário do Snapchat no Facebook.
O Snapchat disse que continua melhorando o My AI com base no feedback da comunidade e está trabalhando para estabelecer mais proteções para manter seus usuários seguros.
A empresa também disse que, semelhante a suas outras ferramentas, os usuários não precisam interagir com o My AI se não quiserem. No entanto, não é possível remover dos feeds de bate-papo, a menos que um usuário assine seu serviço premium mensal, Snapchat+.
Alguns adolescentes dizem que optaram por pagar a taxa de US$ 3,99 do Snapchat+ para desativar a ferramenta antes de cancelar imediatamente o serviço. Mas nem todos os usuários não gostam do recurso.
Uma usuária escreveu no Facebook que está pedindo ajuda ao My AI para o dever de casa. “Ele acerta todas as perguntas.”
Outro observou que ela se apoiou nele para obter conforto e conselhos. “Eu amo meu bolsinho, melhor amiga!” ela escreveu. “Você pode trocar o Bitmoji 
Um cálculo inicial sobre como os adolescentes usam chatbots
O ChatGPT, que é treinado em vastos tesouros de dados online, já foi criticado por espalhar informações imprecisas, responder aos usuários de maneiras que eles podem achar inadequadas e permitir que os alunos trapaceiem.
A integração da ferramenta do Snapchat corre o risco de aumentar alguns desses problemas e adicionar novos.
Alexandra Hamlet, psicóloga clínica na cidade de Nova York, disse que os pais de alguns de seus pacientes expressaram preocupação sobre como seu filho adolescente poderia interagir com a ferramenta do Snapchat.
Também há preocupação com os chatbots dando conselhos e com a saúde mental, porque as ferramentas de IA podem reforçar o viés de confirmação de alguém, tornando mais fácil para os usuários buscar interações que confirmem suas crenças inúteis.
“Se um adolescente está com um humor negativo e não tem o desejo consciente de se sentir melhor, ele pode procurar uma conversa com um chatbot que ele sabe que o fará se sentir pior”, disse ela.
“Com o tempo, ter interações como essas pode corroer o senso de valor dos adolescentes, apesar de saberem que estão realmente conversando com um bot. Em um estado de espírito emocional, torna-se menos possível para um indivíduo considerar esse tipo de lógica”.
Por enquanto, cabe aos pais iniciar conversas significativas com seus filhos adolescentes sobre as melhores práticas de comunicação com IA, especialmente quando as ferramentas começam a aparecer em aplicativos e serviços mais populares.
Sinead Bovell, fundadora da WAYE, uma startup que ajuda a preparar os jovens para o futuro com tecnologias avançadas, disse que os pais precisam deixar bem claro que “chatbots não são seus amigos”.
“Eles também não são seus terapeutas ou conselheiros de confiança, e qualquer pessoa que interaja com eles precisa ser muito cautelosa, especialmente os adolescentes, que podem ser mais suscetíveis a acreditar no que dizem”, disse ela.
“Os pais devem conversar com seus filhos agora sobre como não devem compartilhar nada pessoal com um chatbot que eles teriam como amigo – mesmo que, do ponto de vista do design do usuário, o chatbot exista no mesmo canto do Snapchat.”
Ela acrescentou que a regulamentação federal que exige que as empresas cumpram protocolos específicos também é necessária para manter o ritmo acelerado do avanço da IA.
Com informações da CNN.
