A Anthropic acionou a polícia após identificar ameaças de ataque contra o escritório do xerife feitas pela usuária Carli Michelle Heller durante conversas no Claude. Na sequência, Heller foi presa na Flórida sob a acusação de realizar ameaça eletrônica de violência.
A usuária utilizava o modelo de inteligência artificial como uma espécie de diário pessoal para registrar pensamentos e assuntos privados. Suas mensagens foram detectadas inicialmente por sistemas automatizados de segurança e passaram pela análise de uma equipe humana antes de a notificação ser enviada às autoridades.
A documentação da Anthropic estabelece expressamente a possibilidade de repassar dados a autoridades em circunstâncias de emergência, com a finalidade de prevenir risco iminente de morte ou lesões físicas graves.