A startup Circuit Breaker Labs, fundada pelos irmãos Shirali Nigam (CEO) e Arul Nigam (CTO), desenvolveu agentes de inteligência artificial voltados para testes adversários (conhecidos como red teaming). O sistema funciona com simuladores de usuários de diversas idades, origens, idiomas e culturas para avaliar a capacidade de modelos de linguagem de identificar interações perigosas ou psicologicamente danosas, reproduzindo gírias, erros de digitação e linguagem codificada.
“Os modelos são ótimos em padrões de fala padrão, mas ninguém realmente fala assim. Se o modelo interpretar mal nuances ou gírias, as consequências podem ser graves.”Shirali Nigam1
A empresa conta com cinco funcionários e atua em fase inicial voltada para aplicações de alto risco, a exemplo de suporte de saúde mental, diários digitais e coaching por IA. Os processos de avaliação chegam a dezenas de milhares de interações simuladas diariamente e contam com um método de classificação proprietário para emitir notas explicáveis e auditáveis. Pelo projeto, a startup foi selecionada entre as 200 finalistas do TechCrunch Startup Battlefield 2026 para apresentação no evento Disrupt, em São Francisco.
A criação da Circuit Breaker Labs teve como pano de fundo disputas judiciais iniciadas em 2024 contra a Character.AI, após o suicídio de Sewell Setzer, de 14 anos, além de processos semelhantes abertos contra a OpenAI envolvendo o ChatGPT.