É uma verdade universal da natureza humana que os desenvolvedores que constroem o código não devem ser os responsáveis por testá-lo. Em primeiro lugar, a maioria deles detesta essa tarefa. Em segundo lugar, como em qualquer protocolo de auditoria bom, aqueles que fazem o trabalho não devem ser aqueles que verificam.

Não é surpreendente, então, que o teste de código em todas as suas formas — testes de usabilidade, linguagem ou tarefa específica, teste de ponta a ponta — tenha sido foco de um número crescente de startups de AI generativa. Semanalmente, o TechCrunch cobre outras como Antithesis (levantou $47 milhões), CodiumAI (levnatou $11 milhões) e QA Wolf (levantou $20 milhões). E novas estão surgindo o tempo todo, como a nova graduada da Y Combinator Momentic.

Outra startup de um ano, a Nova AI, uma graduada do acelerador Unusual Academy que levantou uma rodada de pré-seed de $1 milhão. Está tentando superar seus concorrentes com suas ferramentas de teste de ponta a ponta que quebram muitas das regras do Vale do Silício sobre como as startups devem operar, o fundador/CEO Zach Smith disse ao TechCrunch.

Enquanto a abordagem padrão da Y Combinator é começar pequeno, a Nova AI mira em empresas de médio a grande porte com bases de código complexas e uma necessidade urgente agora. Smith se recusou a nomear quaisquer clientes usando ou testando seu produto, exceto para descrevê-los como principalmente startups de estágio avançado (série C ou além) com apoio de investidores em e-commerce, fintech ou produtos de consumo, e “experiências intensas para o usuário. A inatividade dessas funcionalidades é custosa.”

A tecnologia da Nova AI analisa o código de seus clientes para construir testes automaticamente usando o GenAI. É especialmente voltada para ambientes de integração contínua e entrega/implementação contínua (CI/CD) onde os engenheiros estão constantemente enviando pedaços de código para sua produção.

A ideia para a Nova AI veio das experiências que Smith e seu co-fundador Jeffrey Shih tiveram quando eram engenheiros trabalhando para grandes empresas de tecnologia. Smith é um ex-funcionário do Google que trabalhou em equipes relacionadas à nuvem que ajudaram os clientes a utilizar muitas tecnologias de automação. Shih trabalhou anteriormente na Meta (também na Unity e Microsoft antes disso) com uma especialidade rara em AI envolvendo dados sintéticos. Desde então, eles adicionaram um terceiro co-fundador, o cientista de dados de AI Henry Li.

Outra regra que a Nova AI não está seguindo: Enquanto um monte de startups de AI está construindo em cima do GPT líder da OpenAI, a Nova AI está usando o Chat GPT-4 da OpenAI o menos possível. Nenhum dado do cliente está sendo alimentado para a OpenAI.

Enquanto a OpenAI promete que os dados dos que estão em um plano empresarial pago não estão sendo usados para treinar seus modelos, as empresas ainda não confiam na OpenAI, diz Smith. “Quando estamos conversando com grandes empresas, elas dizem, ‘Não queremos que nossos dados vão para a OpenAI,” disse Smith.

Os times de engenharia das grandes empresas não são os únicos que se sentem assim. A OpenAI está lutando contra uma série de processos da parte daqueles que não querem que ela utilize seu trabalho para treinar modelos, ou acreditam que seu trabalho acabou, sem autorização e sem pagamento, em suas saídas.

A Nova AI está, ao invés disso, dependendo fortemente de modelos de código aberto como Llama desenvolvido pela Meta e StarCoder (da comunidade BigCoder, que foi desenvolvida pela ServiceNow e Hugging Face), além de construir seus próprios modelos. Eles ainda não estão utilizando o Gemma do Google com clientes, mas testaram e “viram bons resultados,” disse Smith.

Por exemplo, ele explica que a OpenAI oferece modelos para incorporações vetoriais. As incorporações vetoriais traduzem pedaços de texto em números para que o LLM possa realizar várias operações, como agrupá-los com outros pedaços de texto semelhantes. A Nova AI não utiliza as incorporações da OpenAI e em vez disso usa código aberto para isso no código-fonte do cliente. Eles usam ferramentas da OpenAI apenas para ajudar na geração de algum código e fazer algumas tarefas de etiquetagem, e estão tomando cuidado para não enviar nenhum dado do cliente para a OpenAI.

“Neste caso, ao invés de usar os modelos de incorporação da OpenAI, implementamos nossos próprios modelos de incorporação de código aberto para que, quando precisarmos analisar cada arquivo, não estamos apenas enviando-o para a OpenAI,” explicou Smith.

Embora não enviar dados do cliente para a OpenAI satisfaça as empresas nervosas, os modelos de código aberto de AI também são mais baratos e mais do que suficientes para realizar tarefas específicas direcionadas, descobriu Smith. Neste caso, eles funcionam bem para escrever testes.

“A indústria de LLM de código aberto está realmente provando que pode vencer o GPT 4 e esses grandes provedores de domínio, quando se vai realmente restrito,” ele disse. “Não precisamos fornecer um modelo enorme que possa dizer o que sua avó quer para o aniversário dela. Certo? Precisamos escrever um teste. E é isso. Então nossos modelos são ajustados especificamente para isso.”

Os modelos de código aberto também estão progredindo rapidamente. Por exemplo, a Meta recentemente introduziu uma nova versão do Llama que está recebendo elogios nos círculos de tecnologia e que pode convencer mais startups de AI a olhar para alternativas da OpenAI.