Descrição

Neste curso de imersão abordaremos desde a ingestão/tratamento de dados utilizando o Azure Data Factory, tratamento de dados utilizando o Azure Databricks, armazenamento de dados utilizando o Azure SQL Database/Azure Data Lake e visualização com PBI com foco na Engenharia de Dados.

O que não realizaremos no treinamento:

• Não resolveremos problemas de trabalho de nenhum participante.
• Não mostraremos assuntos fora do conteúdo programático proposto no treinamento.
• Não realizaremos o provisionamento com os participantes.
• Não Emitimos NOTA FISCAL para treinamentos comprados pela plataforma.

O que terei de benefícios:

• Treinamento baseado em vivências de projetos reais.
• Networking
• Instrutores com bastante experiência no mercado e em projetos de Big Data com grandes clientes. Todos são certificados Microsoft e com experiência em projetos com clientes nacionais e internacionais.
• Portal com todos os conteúdos do treinamento — VITALICIO, ou seja, PARA SEMPRE.
• Vídeos das aulas gravadas – Ao final de cada dia, disponibilizamos a aula gravada na plataforma
• Slides
• PDFs
• Scripts
• Links de apoio
• Arquivos utilizados nos laboratórios
• Certificado de participação do treinamento. O certificado é validado digitalmente para evitar fraudes e possíveis copias.
• Canal de comunicação com os instrutores e demais alunos.
• Dicas de certificação

Conteúdos Configuração do Ambiente Azure

• Conceitos de Big Data
• Conceitos de ETL X ELT
• Conceitos Apresentação dos serviços de big data do Azure
• Conceitos do Azure Databricks
• Conceitos do Apache Spark
• Apresentação da plataforma do Databricks
• Provisionamento dos serviços da Azure
  • Azure Data Factory
  • Azure Data Lake
  • Azure Key Vault
  • Azure SQL Database
  • Azure Databricks
• Configuração do ADF
  • Integration Runtime Self-Hosted
  • Linked Services
  • Datasets
• Configuração do Databricks
  • Criação de clusters
  • Criação do escopo (scope)
• Integrações
  • Azure Databricks
  • Azure Data Lake
  • Azure Key Vault
  • GitHub / Azure DevOps

Conteúdos Azure Data Factory

• Desenvolvimento de Pipelines
  • Copy Data
  • Get Metadata
  • Lookup
  • Stored Procedure
  • Execute Pipeline
  • Filter
  • ForEach
• Triggers
  • Schedule
  • Tumbling Window
  • Storage Events
• Monitoramento de Execução
• Transformação de dados com:
  • Data Flow
  • Power Query

Conteúdos Azure Databricks

• Conceitos de Delta Lake
• Aplicabilidade Python x SQL X Delta
• Notebooks de conexão com:
  • Data Lake
  • Azure SQL Database
• Notebooks de tratamento de dados
  • PySpark
  • SparkSQL
  • Leitura/Escrita no Delta Table
  • Leitura/Escrita no Data Lake
  • Leitura/Escrita no Azure SQL Database
• Orquestração dos notebooks a partir do Azure Data Factory

Conteúdos Azure Synapse Analytcs

• Serverless
  • Criação da Database Serverless
  • Criação SCOPED CREDENTIAL
  • Criação EXTERNAL DATA SOURCE
  • Criação EXTERNAL FILE FORMAT
  • Criação de SCHEMA
  • Criação de view dinamica via parametros do ADF
  • Liberação de permissão a schemas e tabelas

Conteúdos Power BI para Engenheiro de dados

• Entendendo a necessidade da visualização e compartilhamento dos dados.
• O que é o Power BI?
• Fontes de Dados
• Tipos de Conexão
• Power BI Desktop
• Power BI Service
• Power BI Mobile
• Modelagem
• Compartilhamento (Apps, Dashboards, Reports)
• Licenciamento do Power BI (planos e capacidades)
• Laboratório Power BI:
  • Ingestão
  • Power Query (Linguagem M);
  • DAX
  • Analysis Services
  • Gráficos
  • Compartilhamento
  • Workspaces
  • Conjunto de dados
  • Fluxo de Dados
  • On Premises Data Gateway
  • Atualização Agendada
  • Alertas
  • Assinaturas

Conteúdo Programático Unity Catalog

• OVERVIEW SOBRE GOVERNANÇA DE DADOS
• O QUE É O UNITY CATALOG?
• PREMISSAS PARA IMPLANTAÇÃO DO UNITY
• PROVISIONAMENTO
• CONFIGURAÇÃO
  • METASTORE
  • GRUPO DE USUARIOS
  • SERVICE PRINCIPAL
  • CREDENTIALS
  • EXTERNAL LOCATIONS
  • CATÁLOGOS
  • SCHEMAS (DATABASES)
  • TABELAS
  • PERMISSÕES
• APLICAÇÃO DE TAGS
• UTILIZAÇÃO DA DATABASE INFORMATION_SCHEMA
• UTILIZAÇÃO DE AI
• ANÁLISE DE LINHAGEM
• MIGRAÇÃO DE TABELAS DO HIVE_METASTORE  PARA O UNITY CATALOG
• CRIAÇÃO DE TABELAS NO UNITY CATALOG
• DATA QUALITY COM UNITY CATALOG

Conteúdos Programático Azure DevOps para Big Data

• Introdução ao Azure DevOps e seus recursos
• Práticas de DevOps em ambientes de Big Data
• Configuração e gerenciamento de pipelines de implantação
• Integração contínua e entrega contínua (CI/CD) em projetos de Big Data
• Automação de processos de implantação e monitoramento em ambientes de Big Data utilizando o Azure DevOps