Azure Databricks es un servicio gestionado en la nube de Azure. Como desarrollador, es mejor entender la arquitectura, para que puedas razonar sobre dónde se almacenan tus datos y también dónde se encuentra tu computación.
La arquitectura de Databricks se divide básicamente en dos partes, una denominada Control Plane y la otra Data Plane.
Control plane.
Data Plane
Los usuarios de Databricks como Ingenieros de Datos, Científicos de Datos y Analistas de Datos, utilizarán Active Directory Single Sign On, para acceder al servicio Databricks. Cuando un usuario solicita la creación de un Cluster, el Gestor de Cluster de Databricks creará las máquinas virtuales necesarias en nuestra suscripción a través del Gestor de Recursos de Azure. De este modo, ninguno de los datos del cliente abandona la suscripción.
Salidas temporales como la ejecución de un comando de visualización o datos para gestionar tablas, se almacenan en el Azure Blob Storage, y el procesamiento también ocurre dentro de la VNet en nuestra suscripción.
En la siguiente imagen podemos observar el esquema de Azure Databricks en el que se integra.
En conclusión, la arquitectura de Azure Databricks es una combinación de Control Plane y Data Plane, que se encuentra en suscripciones separadas. El Control Plane contiene la interfaz de usuario y gestiona los metadatos, mientras que el Data Plane reside en la suscripción del cliente y se encarga del almacenamiento y procesamiento de datos. Con una estructura bien definida y seguridad integrada, Azure Databricks permite a los usuarios trabajar de manera eficiente y escalable, manteniendo los datos dentro de su entorno de suscripción.
* Tu información será utilizada exclusivamente para contactarte en relación al Business Data Master. No hacemos spam ni compartimos datos con terceros.
