Circuit Breaker Labs cria agentes de IA para testes de segurança psicológica em modelos de linguagem
A startup Circuit Breaker Labs, fundada pelos irmãos Shirali e Arul Nigam, desenvolveu agentes de IA voltados a testes adversários de red teaming em modelos de linguagem. O sistema simula dezenas de milhares de interações diárias representando diferentes idades, culturas e estilos de fala para identificar respostas danosas e riscos psicológicos. A tecnologia foi motivada por processos judiciais envolvendo suicídios associados ao uso de chatbots como Character.AI e ChatGPT.
O que se sabe
- A Circuit Breaker Labs foi fundada pelos irmãos Shirali Nigam (CEO) e Arul Nigam (CTO).1
- A startup desenvolveu agentes de IA que funcionam como simuladores de usuários de diversas idades, origens, línguas e culturas para realizar testes adversários de red teaming.1
- Os testes adversários avaliam a capacidade dos modelos de linguagem de detectar interações perigosas ou psicologicamente danosas, reproduzindo gírias, erros de digitação e linguagem codificada.1
- A Circuit Breaker Labs realiza dezenas de milhares de interações simuladas por dia em seus processos de teste.1
- A empresa desenvolveu um método de classificação proprietário para gerar notas auditáveis e explicáveis sobre o desempenho de segurança de modelos de IA.1
- A startup conta com cinco funcionários no total e opera em fase inicial de desenvolvimento focada em aplicações de alto risco, como diários digitais, coaching por IA e suporte de saúde mental.1
- A Circuit Breaker Labs foi selecionada entre os 200 finalistas do TechCrunch Startup Battlefield 2026 para apresentar no evento Disrupt em São Francisco.1
- A criação da startup teve como contexto processos judiciais de 2024 contra a Character.AI pelo suicídio de Sewell Setzer, de 14 anos, e ações semelhantes movidas contra a OpenAI envolvendo o ChatGPT.1
“A forma como uma garota de seis anos fala versus um homem de 45 anos, ou alguém que usa o inglês como língua nativa versus quem não é nativo, tudo isso pode causar problemas para o modelo”Shirali Nigam1
“Os modelos são ótimos em padrões de fala padrão, mas ninguém realmente fala assim. Se o modelo interpretar mal nuances ou gírias, as consequências podem ser graves.”Shirali Nigam1
Cronologia
- Processos judiciais são movidos contra a Character.AI após a morte de Sewell Setzer
- Divulgação da atuação da Circuit Breaker Labs e de sua seleção para o TechCrunch Startup Battlefield 2026
Quem está envolvido
AN
Arul Nigamcofundador
C
Character.AIempresa citada em processos
C
ChatGPTchatbot citado
CB
Circuit Breaker Labsstartup desenvolvedora
O
OpenAIempresa citada em processos
SS
Sewell Setzermenor vítima citada
SN
Shirali Nigamcofundadora e CEO