Ver todos los avisos en R.Metropolitana
Habilitar y gobernar los datos requeridos por el proyecto, construyendo y ajustando pipelines de ingesta e integrándolos al Data Lake corporativo bajo los lineamientos y estándares de arquitectura vigentes.
Alcances / responsabilidades
Evaluar las fuentes de datos del proyecto en calidad, completitud y consistencia.
Construir y ajustar pipelines de ingesta, e integrar los datos al Data Lake corporativo bajo los estándares de arquitectura vigentes.
Apoyar la gobernanza de datos (linaje, data agreements, diccionario de datos).
Desplegar pipelines a producción y ejecutar el traspaso técnico a continuidad operacional.
Requisitos mínimos (obligatorios)
Mínimo 4 años de experiencia práctica real en proyectos con Databricks y tecnologías cloud.
Dominio de Databricks, SQL y Python; PySpark para procesamiento distribuido de datos.
Delta Lake y Unity Catalog: modelamiento por capas (bronze / silver / gold), gestión de permisos y linaje.
Creación, orquestación y monitoreo de pipelines productivos con Databricks Workflows, Delta Live Tables (DLT) o equivalentes (al menos 2 años).
Azure Data Factory y Azure Data Lake Storage (integración, transformación y gestión de flujos de datos).
Databricks Asset Bundles (DAB) para despliegue y productivización.
Buenas prácticas de ingeniería de software (código modular, mantenible, con testing y documentación) y control de versiones con Git: ramas, pull requests y code review.
Metodologías ágiles y Azure DevOps; buenas prácticas de calidad de datos (validaciones de completitud, duplicidad, rangos válidos y consistencia).
Deseable: Databricks Certified Data Engineer Associate (valorada / diferenciador en postulación).
Deseable: Databricks Certified Associate Developer for Apache Spark (valorada / diferenciador en postulación).
Deseable: DP-750 Azure Databricks Data Engineer Associate.
Experiencia con fuentes de datos de entornos industriales: historiadores de proceso (PI System o equivalentes), LIMS, sistemas de despacho o ERP (suma como diferenciador).
Deseable experiencia previa en proyectos de datos en la industria minera
