Databricks lanzó hoy su quinto proyecto de código abierto, una nueva herramienta llamada Delta Sharing diseñada para ser una forma neutral del proveedor de compartir datos con cualquier infraestructura en la nube o producto SaaS, siempre y cuando tenga el conector adecuado. Es parte del proyecto más amplio de código abierto Databricks Delta Lake.

Como señala el CEO Ali Ghodsi, los datos están explotando y mover los datos del punto A al punto B es un problema cada vez más difícil de resolver con herramientas patentadas. «La barrera número uno para que las organizaciones tengan éxito con los datos es compartir datos, compartirlos entre diferentes puntos de vista, compartirlos entre organizaciones, ese es el problema número uno que hemos visto en las organizaciones», explicó Ghodsi. Delta Sharing es un protocolo de código abierto diseñado para resolver ese problema. «Este es el primer protocolo abierto de la industria, un estándar abierto para compartir un conjunto de datos de forma segura. […] Pueden estandarizarse en Databricks o algo más. Por ejemplo, podrían haber estandarizado el uso de AWS Data Exchange, Power BI o Tableau, y luego pueden acceder a esos datos de forma segura».

La herramienta está diseñada para trabajar con múltiples infraestructuras en la nube y servicios SaaS y hay múltiples socios involucrados, incluidos los tres grandes proveedores de infraestructura en la nube Amazon, Microsoft y Google, así como proveedores de visualización y gestión de datos como Qlik, Starburst, Collibra y Alation y proveedores de datos como Nasdaq, S&P y Foursquare. Ghodsi dijo que la clave para hacer que esto funcione es la naturaleza abierta del proyecto. Al hacer eso y donarlo a The Linux Foundation, está tratando de asegurar que pueda funcionar en diferentes entornos. Otro gran aspecto de esto son las asociaciones y las empresas involucradas. Cuando se puede involucrar a grandes empresas en un proyecto como este, es más probable que tenga éxito porque funciona en este amplio conjunto de servicios populares. De hecho, hay un número de conectores disponibles hoy en día, pero Databricks espera que ese número aumente con el tiempo a medida que los contribuyentes construyan más conectores a otros servicios.

Databricks opera en un modelo de precios de consumo al igual que Snowflake, lo que significa que cuantos más datos se mueva a través de su software, más dinero va a ganar, pero la herramienta Delta Sharing significa que puede compartir con cualquier persona, no con otro cliente de Databricks. Ghodsi dice que la naturaleza de código abierto de Delta Sharing significa que su empresa todavía puede ganar, mientras que da a los clientes más flexibilidad para mover datos entre servicios. A los proveedores de infraestructura también les encanta este modelo porque las herramientas de lago de datos en la nube mueven grandes cantidades de datos a través de sus servicios y también ganan dinero, lo que probablemente explica por qué todos están a bordo de esto. Uno de los grandes temores de los clientes modernos de la nube es estar vinculados a un solo proveedor, como a menudo lo estaban en la década de 1990 y principios de la década de 2000, cuando la mayoría de las empresas compraron una pila de servicios de un solo proveedor como Microsoft, IBM u Oracle. Por un lado, tenías la verdadera garganta única que ahogar, pero estabas en deuda con el vendedor porque el costo de mudarte a otro era prohibitivamente alto. Las empresas no quieren estar encerradas así de nuevo y las herramientas de código abierto son una manera de evitarlo.

Databricks fue fundada en 2013 y ha recaudado casi 2.000 millones de dólares desde entonces. La última ronda de financiación fue en febrero por mil millones de dólares con una valoración de 28 mil millones de dólares, un número asombroso para una empresa privada. Snowflake, un competidor principal, se hizo público en septiembre pasado. A día de hoy, tiene un límite de mercado de más de 66.000 millones de dólares.

Fuente: TechCrunch