Otros Artículos:

Arquitectura de Databricks

Compartir en linkedin
LinkedIn
Compartir en facebook
Facebook
Compartir en twitter
Twitter
Compartir en whatsapp
WhatsApp

Azure Databricks es un servicio gestionado en la nube de Azure. Como desarrollador, es mejor entender la arquitectura, para que puedas razonar sobre dónde se almacenan tus datos y también dónde se encuentra tu computación.

La arquitectura de Databricks se divide básicamente en dos partes, una denominada Control Plane y la otra Data Plane.

Control plane.

  • Se encuentra en la suscripción propia de Databricks.
  • Contiene el Databricks UX y también el Cluster Manager.
  • También alberga el sistema de archivos Databricks (DBFS) y metadatos sobre clústeres, archivos montados, etc.

 

Data Plane

  • Se encuentra en la suscripción del cliente.
  • Cuando creas un servicio Databricks en Azure, hay cuatro recursos creados en tu suscripción, una Red Virtual y un Grupo de Seguridad de Red para la Red Virtual. Azure Blob Storage para el almacenamiento predeterminado y también un Databricks Workspace.
 

Los usuarios de Databricks como Ingenieros de Datos, Científicos de Datos y Analistas de Datos, utilizarán Active Directory Single Sign On, para acceder al servicio Databricks. Cuando un usuario solicita la creación de un Cluster, el Gestor de Cluster de Databricks creará las máquinas virtuales necesarias en nuestra suscripción a través del Gestor de Recursos de Azure. De este modo, ninguno de los datos del cliente abandona la suscripción.

Salidas temporales como la ejecución de un comando de visualización o datos para gestionar tablas, se almacenan en el Azure Blob Storage, y el procesamiento también ocurre dentro de la VNet en nuestra suscripción.

 

En la siguiente imagen podemos observar el esquema de Azure Databricks en el que se integra.

En conclusión, la arquitectura de Azure Databricks es una combinación de Control Plane y Data Plane, que se encuentra en suscripciones separadas. El Control Plane contiene la interfaz de usuario y gestiona los metadatos, mientras que el Data Plane reside en la suscripción del cliente y se encarga del almacenamiento y procesamiento de datos. Con una estructura bien definida y seguridad integrada, Azure Databricks permite a los usuarios trabajar de manera eficiente y escalable, manteniendo los datos dentro de su entorno de suscripción.

Referencias

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Business Data Master Logo

No te pierdas el

WEBINAR
Gratuito

Explicaremos en detalle los contenidos y objetivos del Business Data Master

29/11/2021

18:30 (GTM+1)

Online

BUSINESS DATA MASTER

* Tu información será utilizada exclusivamente para contactarte en relación al Business Data Master. No hacemos spam ni compartimos datos con terceros.