Startup de IA lança ‘motor de processamento de dados mais rápido’ no mercado

AI startup launches 'fastest data processing engine' on the market.

A startup de IA com sede em Paris e fundada por mulheres, Pathway, anunciou o lançamento geral de sua engine de processamento de dados. Segundo relatos, ela é até 90 vezes mais rápida do que as soluções de streaming existentes e promete ser a “engine de processamento de dados mais rápida do mercado”.

O segredo? Uma habilidade única de misturar lógica de lote e streaming no mesmo fluxo de trabalho, o que permite ao sistema esquecer coisas que não são mais úteis. Basicamente, isso significa que ele pode aprender e reagir a mudanças em tempo real – como os humanos.

Tradicionalmente, a complexidade de construir arquiteturas de lote e streaming resultou em uma divisão entre as duas abordagens, diz a CEO e co-fundadora da Pathway, Zuzanna Stamirowska.

Isso, ela acrescenta, retardou a adoção de streaming de dados para sistemas de IA e fixou sua inteligência em um momento específico. Sem mencionar a complexidade adicional de um terceiro fluxo de trabalho – IA generativa.

De acordo com Stamirowska, agora há uma “necessidade crítica” de processamento rápido de dados e IA mais adaptável. “É por isso que nossa missão tem sido permitir o processamento de dados em tempo real, ao mesmo tempo em que oferece aos desenvolvedores uma experiência simples, independentemente de trabalharem com lote, streaming ou sistemas LLM”, afirma.

Stamirowska diz que o objetivo da Pathway é proporcionar aos desenvolvedores uma experiência simples, independentemente de trabalharem com lote, streaming ou sistemas LLM. Crédito: Pathway

Revisões nos pontos de dados sem retrabalho de IA

O esquecimento de informações incorretas ou desatualizadas em tempo real tem sido uma tarefa quase impossível no passado, devido aos modelos serem treinados em uploads de dados estáticos. Tradicionalmente, o “desaprendizado” exigiria o retrabalho do modelo.

De fato, quando fizemos a pergunta para o ChatGPT por diversão – você pode desaprender coisas se elas se mostrarem imprecisas – esta foi a resposta que recebemos:

“Como um modelo de linguagem de IA, não tenho a capacidade de “desaprender” informações da mesma forma que os humanos.

“No entanto, os desenvolvedores e pesquisadores da OpenAI podem atualizar e retrabalhar o modelo com base em novos dados e melhorias.”

Mas a Pathway diz que pode fazer revisões em determinados pontos de dados sem exigir um upload completo de dados em lote, semelhante à atualização do valor de uma célula em um documento do Excel. As células atualizadas não reprocesam todo o documento, mas apenas as células dependentes dela.

Um dos clientes existentes da startup, a especialista em logística alemã DB Schenker, reduziu o tempo de lançamento de projetos de análise de detecção de anomalias de três meses para uma hora. Enquanto isso, a empresa de serviços postais francesa La Poste viu uma redução de 16% no CAPEX da frota.

“Língua franca” para desenvolvedores

A dupla polonesa-francesa Stamirowska e Claire Nouet, COO da empresa, fundaram a Pathway em 2020. Até agora, a startup arrecadou US$ 4,5 milhões (aproximadamente € 4 milhões) em uma rodada de pré-semente em dezembro do ano passado e conta com mais de 20 funcionários na Europa e América do Norte.

A startup de deep tech liderada por mulheres espera que seu sistema se torne uma “língua franca” de todos os data pipelines (streaming, lote e IA generativa). Além de reduzir custos para os clientes, ela afirma que busca democratizar a habilidade dos desenvolvedores de projetar fluxos de trabalho de streaming, que costumavam exigir um conjunto de habilidades especializado.