I
Irene Maribel Ramirez Rodriguez
El enfoque en optimizacion de Spark dentro de Databricks fue excepcional y aplicable desde el primer dia.
![Master en Azure Databricks & Spark para Data Engineers [A-Z]](https://mail.ean.la/web/images/courses/saptotal-master-en-azure-databricks-spark-para-data-engineers-a-z.svg)
PRECIO DE LANZAMIENTO
Master en Azure Databricks & Spark para Data Engineers [A-Z]
4.6
(20)
|
406 Estudiantes
|
Certificación internacional
Acceso de por vida
Acceso multiplataforma
Info
USD 300.00
USD 300.00
USD 50.00
Descripcion
Domina Azure Databricks y Apache Spark para ingenieros de datos con este master completo. Aprende desde la configuracion de clusters hasta la ingesta y transformacion de datos en proyectos reales.
Lo que aprenderas:
- Configurar y administrar Azure Data Lake Storage Gen2 y Azure Databricks
- Implementar pipelines de datos con Azure Data Factory y Databricks Workflows
- Manipular datos con Spark Dataframes, SQL y Delta Lake para cargas incrementales y transformaciones
- Gestionar seguridad y accesos con Azure Key Vault, Secrets y Unity Catalog
- Desarrollar proyectos reales aplicando patrones de diseno y carga de datos
- Integrar visualizacion de datos con PowerBI y versionamiento en Github
Contenido del Curso
Introduccion al Master en Azure Databricks & Spark
Presentacion del Master en Azure Databricks
Requisitos
Conoce - www.udatademy.com
Mejorando la experiencia al desarrollar el curso
Como hacer preguntas y apuntes en el curso
Crear una cuenta en Azure
Crear una Cuenta Gratis en Azure
Guia por el Portal de Azure
Consideraciones sobre la cuenta de Azure
Azure Databricks
Funciones de un Data Engineer
Introduccion a Azure Databricks
Crear Servicio de Azure Databricks
Guia por la Interfaz de Usuario de Azure Databricks
Arquitectura de Azure Databricks
Databricks Cluster
Tipos de Clusters en Azure Databricks
Configuracion del Cluster en Azure Databricks
Crear un Cluster en Azure Databricks
Precios del Cluster en Azure Databricks
Cluster Pool en Azure Databricks
Politicas de Cluster en Azure Databricks
Databricks Notebooks
Introduccion a Databricks Notebooks
Comandos Magicos en Databricks Notebooks
Databricks Utilities
Acceder a Azure Data Lake Storage desde Databricks
Introduccion al Acceso a Azure Data Lake Storage
Crear Azure Data Lake Storage Gen2
Azure Storage Explorer
Acceder a Azure Data Lake Storage mediante Access Keys
Acceder a Azure Data Lake Storage mediante Token SAS
Acceder a Azure Data Lake Storage mediante el Services Principal
Autenticacion mediante Ambito de Cluster
Seguridad de Acceso a Azure Data Lake Storage
Introduccion a los Secretos de Seguridad
Crear Azure Key Vault
Crear un Secret Scope
Databricks - Secrets Utility
Notebook - Acceder a Azure Data Lake usando Secrets en Access Key
Notebook - Acceder a Azure Data Lake usando Secrets en SAS Token
Notebook - Acceder a Azure Data Lake usando Service Principal
Cluster - Acceder a Azure Data Lake usando Secrets
Introduccion a Unity Catalog
Introduccion a Unity Catalog
Modelo de Objeto de Unity Catalog
Modelo de Objetos de Unity Catalog(Data Explorer UI)
Configuracion de Unity Catalog
Introduccion a External Data con Data Lake
Crear Storage Credential
Crear External Location
Trabajar con Archivos
Recomendacion de Acceso para el Proyecto con Data Lake Storage
Configurar Acceso a Azure Data Lake Storage Gen 2
Explicacion Proyecto Movie
Explicacion sobre el Proyecto Movie
Cargar Datos del Proyecto Movie al Data Lake
Arquitectura para el desarrollo del Proyecto
Apache Spark
Arquitectura del Cluster Spark
Dataframe & Dataframe API en Spark
Trabajar con archivos CSV
Explicacion sobre la Ingestion de Datos
Archivo movie - Requisitos
Archivo movie - DataFrame Reader
Archivo movie - Schema
Archivo movie - Select Columns
Archivo movie - WithColumn[s] Renamed
Archivo movie - WithColumn[s]
Archivo movie - DataFrame Writer
Archivo language - Requisitos
Archivo language - Solucion
Archivo genre - Requisitos (Tarea)
Archivo genre - Solucion (Tarea)
Archivo movie - PartitionBy
Trabajar con archivos JSON
Archivo country - Requisitos
Archivo country - Read Data
Archivo country - Transform & Write Data
Archivo person - Requisitos
Archivo person - Solucion
Archivo movie genre - Requisitos (Tarea)
Archivo movie genre - Solucion (Tarea)
Archivo movie cast - Requisitos
Archivo movie cast - Solucion
Archivo language role - Requisitos (Tarea)
Archivo language role - Solucion (Tarea)
Trabajar con Multiples Archivos
Archivo production company - Requisitos
Archivo production company - Solucion
Archivo movie company - Requisitos (Tarea)
Archivo movie company - Solucion (Tarea)
Archivo movie languages - Requisitos
Archivo movie languages - Solucion
Archivo production country - Requisitos (Tarea)
Archivo production country - Solucion (Tarea)
Databricks Workflows
Reutilizar codigo de otro Notebook
Pasar Parametros al Notebook
Notebook Workflows
Databricks Jobs
Transformaciones de Filter y Joins
Transformacion Filter
Transformacion Join - Inner Join
Transformacion Join - Outer Join
Transformacion Join - Semi, Anti & Cross Join
Ejercicio Join - Requisitos
Ejercicio Join - Solucion
Ejercicio Join - Requisitos (Tarea)
Ejercicio Join - Solucion (Tarea)
Agregaciones(Aggregations)
Funciones Simples de Agregacion
Group By
Window Functions
Ejercicio Aggregation - Requisitos
Ejercicio Aggregation - Solucion
Ejercicio Aggregation - Requisitos (Tarea)
Ejercicio Aggregation - Solucion (Tarea)
Vistas en Spark
Local Temp View
Global Temp View
Spark SQL - Database Table View
Spark SQL - Introduccion
Base de datos (Database)
Tablas Administradas (Managed Tables)
Tablas Externas (External Tables)
Vistas (Views)
Proyecto Movie - Requisitos
Crear Tabla - Archivo de Origen CSV
Crear Tabla - Archivo de Origen JSON
Crear Tabla - Multiples archivos de Origen
Crear Tabla - Capa Silver
Crear Tabla - Capa Gold (Tarea)
Spark SQL - Filter Join Aggregation
Fundamentos - SQL DML(Data Manipulation Language)
Fundamentos - SQL Escalar Functions(Funciones Escalares)
Fundamentos - SQL Aggregate Functions(Funciones de Agregacion)
Fundamentos - SQL Window Functions(Funciones de Ventana)
Fundamentos - SQL Joins(Uniones)
Spark SQL - Analysis
Crear la Tabla results movie
Analisis - Presupuesto e Ingreso por Pais
Analisis - Presupuesto e Ingreso por Productora(Tarea)
Visualizacion - Presupuesto e Ingreso por Pais
Visualizacion - Presupuesto e Ingreso por Productora(Tarea)
Incremental Load(Carga Incremental)
Patrones de Diseno de Carga de Datos
Explicacion - Proyecto Movie
Configurar y Cargar Datos - Proyecto Movie
Actualizacion - Carga Completa de Datos
Carga Incremental
Carga Incremental - User Defined Function(UDF)
Carga Incremental - Notebook Workflows
Carga Incremental - Results (Parte 1)
Carga Incremental - Results (Parte 2)
Delta Lake
Introduccion a Delta Lake
Delta Lake y Data Lakehouse
Read y Write en Delta Lake
Update y Delete en Delta Lake
Merge Upsert en Delta Lake
History, Time Travel y Vacuum
Transaction Log en Delta Lake
Convertir formato Parquet a Delta
Data Ingestion - Archivo language
Data Ingestion - Archivo movie
Carga Incremental - User Defined Function(UDF)
Data Ingestion - Notebooks Restantes
Data Transformation - Todos los Notebooks
Data Transformation - Notebook SQL
Azure Data Factory(ADF)
Introduccion - Azure Data Factory
Crear el servicio de Azure Data Factory
Componentes de Azure Data Factory
Crear Pipeline - Ingestar Notebook Movie
Debug Pipeline
Agregar Pipeline - Ingestar los otros Notebooks
Agregar validacion al Pipeline
Enviar notificacion Email desde el Pipeline
Crear Pipeline - Notebooks de Transformacion
Crear Trigger
Conectar Databricks con PowerBI
PowerBI
Subir Proyecto al Repositorio
Subir Proyecto de ADF a GitHub
Subir Proyecto de Databricks a GitHub
Dominando Unity Catalog
Introduccion a Unity Catalog
Configuracion de Unity Catalog
Crear Unity Catalog Metastore - Requisitos Previos
Acceder al Manage Account
Crear Unity Catalog Metastore
Crear Cluster para Unity Catalog
Modelo de Objetos de Unity Catalog
Modelo de Objetos de Unity Catalog(Data Explorer UI)
Modelo de Objetos de Unity Catalog(SQL Python)
Introduccion a External Data con Data Lake
Crear Storage Credential
Crear External Location
Proyecto - Unity Catalog
Descripcion del Proyecto
Crear External Location
Crear Catalog & Schema
Crear External Tables
Crear Managed Tables
Crear Databricks Workflow
Subir proyecto a Github
Requisitos
- Cuenta gratuita de Azure para practicas en la plataforma
- Conocimientos basicos de bases de datos y programacion
- Ganas de aprender tecnologias de big data y cloud desde cero
Reseñas generales
4.6 de 5
20 Puntuaciones
5 star
70%
4 star
20%
3 star
10%
2 star
0%
1 star
0%
Reseñas destacadas
C
CARLA
Aprendi a manejar clusters y pipelines de datos de manera eficiente usando Azure Databricks.
P
Pablo mendez
Las explicaciones sobre la arquitectura de Spark son buenas, aunque hubiera querido mas ejemplos en Python.
L
luis leche
La parte de integracion con Azure Synapse me parecio muy util para proyectos reales de data engineering.
J
JESUS ANGEL CANTU CANTU
El contenido es interesante pero algunos videos parecen un poco largos para los temas tratados.
D
Daniel Jesus Valqui Moya
Los laboratorios practicos me ayudaron a entender mejor la orquestacion de datos con Databricks.
M
Marco Rioja Valle
Me gusto mucho como abordaron el manejo de datos no estructurados usando Spark SQL en Azure.
S
Stefania Montoya
Buena explicacion sobre la gestión de costos en clusters, nada que mejorar para principiantes.
J
Juan Manuel Zariñana
El curso profundiza en optimizaciones de performance que no habia encontrado en otros recursos.
C
Carlos Calderon C
Aprender a crear pipelines ETL escalables usando notebooks de Databricks fue un gran plus.
M
Maribel Gòmez Florez
Algunos ejemplos no fueron tan claros, pero en general el contenido cubrio bien los conceptos fundamentales.
W
Willy Mestanza Vigo
Entendi perfectamente la diferencia entre procesamiento batch y streaming con Spark estructurado en Azure.
R
Raul Alejandro Rodriguez Mora
Muy util el segmento sobre manejo de errores y logging en Databricks para monitorear trabajos.
E
Emerson Paniagua
Las secciones sobre seguridad y acceso a datos podrian haberse extendido un poco mas.
A
Adolfo Lavalle
El soporte ofrecido por el instructor en los foros fue rapida y efectiva ante mis dudas técnicas.
O
Omar Febronio Molina
La explicacion sobre Delta Lake y su uso en pipelines incrementales fue muy clara y practica.
J
Jose Carlos Rosales Sanchez
Me hubiera gustado mas ejercicios sobre integracion de Databricks con Power BI para visualizacion.
R
RAQUEL SOSA
Este curso me dio las herramientas necesarias para diseñar soluciones de big data usando Databricks en Azure.
G
Gabriel Mendez Ruiz
Muy valioso el contenido para quienes buscan especializarse en procesamiento de datos en la nube con Spark.
M
MISAEL CERVANTES RAMOS
La combinacion de teoria y practica con datasets reales hizo que el aprendizaje fuera mucho mas efectivo.
USD 300.00
USD 50.00
PARA MAS INFORMACION
INGRESA TUS DATOS
Completa tus datos solo si estas evaluando inscribirte en este programa.
Parte de una ruta de especialización
Especialización en Data & Inteligencia Artificial
Inversion
USD 50.00
Duracion29 Horas
EvaluacionSi
CertificadoSi
WebinarsSi
IdiomaEspañol
Aprobacion92%