La startup de IA lanza el motor de procesamiento de datos más rápido del mercado

The AI startup releases the fastest data processing engine on the market.

La startup de IA con sede en París y fundada por mujeres, Pathway, ha anunciado el lanzamiento general de su motor de procesamiento de datos. Según informes, es hasta 90 veces más rápido que las soluciones de transmisión existentes y promete ser el “motor de procesamiento de datos más rápido del mercado”.

¿El secreto? Una capacidad única para mezclar la lógica de lotes y transmisión en el mismo flujo de trabajo, lo que permite que el sistema olvide cosas que ya no son útiles. Básicamente, esto significa que puede aprender y reaccionar a los cambios en tiempo real, como los humanos.

Tradicionalmente, la complejidad de construir arquitecturas de lotes y transmisión ha resultado en una división entre los dos enfoques, dice la CEO y cofundadora de Pathway, Zuzanna Stamirowska.

Esto, agrega, ha ralentizado la adopción de la transmisión de datos para sistemas de IA y ha fijado su inteligencia en un momento en el tiempo. Sin mencionar la complejidad añadida de un tercer flujo de trabajo: la IA generativa.

Según Stamirowska, ahora existe una “necesidad crítica” de procesamiento de datos rápido y una IA más adaptable. “Por eso nuestra misión ha sido permitir el procesamiento de datos en tiempo real, al tiempo que brindamos a los desarrolladores una experiencia sencilla independientemente de si trabajan con lotes, transmisión o sistemas LLM”, afirma.

Stamirowska dice que el objetivo de Pathway es brindar a los desarrolladores una experiencia sencilla, independientemente de si trabajan con lotes, transmisión o sistemas LLM. Crédito: Pathway

Revisiones de puntos de datos sin necesidad de reentrenamiento de IA

“Olvidar” información incorrecta o desactualizada en tiempo real ha sido una tarea casi imposible en el pasado, debido a que los modelos se entrenaban con cargas de datos estáticos. Tradicionalmente, desaprender requeriría el reentrenamiento del modelo.

De hecho, cuando le hicimos la pregunta a ChatGPT por diversión: ¿puedes desaprender cosas si se demuestra que son inexactas?, esta fue la respuesta que recibimos:

“Como modelo de lenguaje de IA, no tengo la capacidad de ‘desaprender’ información de la misma manera que lo hacen los humanos.

“Sin embargo, los desarrolladores e investigadores de OpenAI pueden actualizar y reentrenar el modelo en función de nuevos datos y mejoras.”

Pero Pathway dice que puede hacer revisiones a ciertos puntos de datos sin requerir una carga completa de datos en lotes, similar a actualizar el valor de una celda dentro de un documento de Excel. Las celdas actualizadas no vuelven a procesar todo el documento, sino solo las celdas dependientes de ella.

Uno de los clientes existentes de la startup, el especialista en logística alemán DB Schenker, redujo el tiempo de comercialización de proyectos de análisis de detección de anomalías de tres meses a una hora. Mientras tanto, la empresa de servicios postales francesa La Poste vio una reducción del 16% en la inversión de capital de la flota.

‘Lingua franca’ para desarrolladores

El dúo polaco-francés Stamirowska y Claire Nouet, COO de la empresa, fundaron Pathway en 2020. Hasta ahora, la startup ha recaudado $4.5 millones (aproximadamente €4 millones) en una ronda de pre-semilla en diciembre del año pasado y cuenta con más de 20 empleados en Europa y América del Norte.

La startup de tecnología profunda liderada por mujeres espera que su sistema se convierta en una “lingua franca” de todas las canalizaciones de datos (transmisión, lotes y IA generativa). Además de reducir costos para los clientes, afirma que busca democratizar la capacidad de los desarrolladores para diseñar flujos de trabajo de transmisión, que típicamente han requerido un conjunto de habilidades especializado.