El proceso de transformación y combinación de datos en la nube se facilita con el servicio Azure Data Factory. Los flujos de datos permiten la extracción, transformación y carga de datos desde una variedad de fuentes a destinos de datos, ya sea en local o en la nube. Gracias a la escalabilidad y flexibilidad inherentes a la nube, Data Factory puede gestionar grandes volúmenes de datos y procesarlos de forma distribuida, de esta manera, garantiza el rendimiento y eficiencia cuando realiza operaciones de gestión de datos.
Azure Data Factory proporciona una interfaz visual que permite crear flujos de trabajo, con solo hacer el gesto de arrastrar y soltar componentes que necesites para gestionar los datos y hacer las transformaciones que necesites. Si se quiere hacer transformaciones con un punto más alto de complejidad, también existe la posibilidad de utilizar lenguajes de consulta como SQL para dar forma a los datos.
Esta plataforma te permite conectar y trabajar de manera sencilla otros servicios de datos en Azure, como Azure Blob Storage, Azure Data Lake Storage, Azure SQL Database, Azure Synapse Analytics, entre otros. También puedes integrar servicios de datos de otras plataformas y proveedores, como bases de datos locales o aplicaciones SaaS.
1. Creación de un nuevo pipeline
El primer paso de todos es abrir el portal de Azure y seleccionar la instancia de Azure Data Factory. Luego en la parte superior de la página seleccionamos Autor y seguidamente hacemos click al botón “Pipeline”.
2. Configuración de la actividad de copia (copy):
Una vez ya tenemos nuestro pipeline creado, lo siguiente es arrastrar la actividad de Copia en el editor de flujos de trabajo que se abra abierto al crear un nuevo pipeline.
Para configurar la copia, tenemos que agregar una conexión de nuestros datos de origen (Source) haciendo click en new, esta conexión puede ser Azure SQL Database, Azure Data Lake Storage, http, etc.
Lo mismo tenemos que realizar para configurar el destino de datos (Sink). Configura otras propiedades de la actividad de copia según tus necesidades, como mapeo de columnas, opciones de filtrado, configuraciones avanzadas, etc.
3. Ejemplo de configuración:
Un ejemplo breve de como copiar datos desde un archivo CSV en Azure Blob Storage a una tabla en Azure SQL Database. Primero se tiene que agregar una nueva conexión de datos y esta seria del tipo Azure Blob Storage. Configurar los detalles de conexión, como la cuenta de almacenamiento, el contenedor y la ruta del archivo CSV.
En cambio, en la selección de destino de datos (Sink), agregaríamos una conexión del tipo Azure SQL Database. También configurar los detalles de conexión, como el servidor de SQL Database, la base de datos y la tabla de destino.
4. Guardar y ejecutar el flujo de trabajo:
Para concluir nuestra copia se tienen que publicar los cambios. Si se quiere asegurar que todo esta bien configurado y nuestro pipeline funciona correctamente antes de guardar, se puede comprobar haciendo click en Validar. Si la copia no presenta ningún problema aparece un mensaje mostrando que no ha encontrado ningún error. Después de validar, ya tendremos la certeza que funciona correctamente y podremos publicar los cambios.
Con Azure Data Factory, se puede copiar datos rápidamente entre varios servicios de Azure gracias a su sencilla interfaz visual, conexiones preconfiguradas y asistentes de configuración.
* Tu información será utilizada exclusivamente para contactarte en relación al Business Data Master. No hacemos spam ni compartimos datos con terceros.
