Descrição
Neste curso de imersão abordaremos desde a ingestão/tratamento de dados utilizando o Azure Data Factory, tratamento de dados utilizando o Azure Databricks, armazenamento de dados utilizando o Azure SQL Database/Azure Data Lake e visualização com PBI com foco na Engenharia de Dados.
O que não realizaremos no treinamento:
- Não resolveremos problemas de trabalho de nenhum participante.
- Não mostraremos assuntos fora do conteúdo programático proposto no treinamento.
- Não realizaremos o provisionamento com os participantes.
- Não Emitimos NOTA FISCAL para treinamentos comprados pela plataforma.
O que terei de benefícios:
- Treinamento baseado em vivências de projetos reais.
- Networking
- Instrutores com bastante experiência no mercado e em projetos de Big Data com grandes clientes. Todos são certificados Microsoft e com experiência em projetos com clientes nacionais e internacionais.
- Portal com todos os conteúdos do treinamento — VITALICIO, ou seja, PARA SEMPRE.
- Vídeos das aulas gravadas – Ao final de cada dia, disponibilizamos a aula gravada na plataforma
- Slides
- PDFs
- Scripts
- Links de apoio
- Arquivos utilizados nos laboratórios
- Certificado de participação do treinamento. O certificado é validado digitalmente para evitar fraudes e possíveis copias.
- Canal de comunicação com os instrutores e demais alunos.
- Dicas de certificação
Conteúdos Configuração do Ambiente Azure
- Conceitos de Big Data
- Conceitos de ETL X ELT
- Conceitos Apresentação dos serviços de big data do Azure
- Conceitos do Azure Databricks
- Conceitos do Apache Spark
- Apresentação da plataforma do Databricks
- Provisionamento dos serviços da Azure
- Azure Data Factory
- Azure Data Lake
- Azure Key Vault
- Azure SQL Database
- Azure Databricks
- Configuração do ADF
- Integration Runtime Self-Hosted
- Linked Services
- Datasets
- Configuração do Databricks
- Criação de clusters
- Criação do escopo (scope)
- Integrações
- Azure Databricks
- Azure Data Lake
- Azure Key Vault
- GitHub / Azure DevOps
Conteúdos Azure Data Factory
- Desenvolvimento de Pipelines
- Copy Data
- Get Metadata
- Lookup
- Stored Procedure
- Execute Pipeline
- Filter
- ForEach
- Triggers
- Schedule
- Tumbling Window
- Storage Events
- Monitoramento de Execução
- Transformação de dados com:
- Data Flow
- Power Query
Conteúdos Azure Databricks
- Conceitos de Delta Lake
- Aplicabilidade Python x SQL X Delta
- Notebooks de conexão com:
- Data Lake
- Azure SQL Database
- Notebooks de tratamento de dados
- PySpark
- SparkSQL
- Leitura/Escrita no Delta Table
- Leitura/Escrita no Data Lake
- Leitura/Escrita no Azure SQL Database
- Orquestração dos notebooks a partir do Azure Data Factory
Conteúdos Azure Synapse Analytcs
- Serverless
- Criação da Database Serverless
- Criação SCOPED CREDENTIAL
- Criação EXTERNAL DATA SOURCE
- Criação EXTERNAL FILE FORMAT
- Criação de SCHEMA
- Criação de view dinamica via parametros do ADF
- Liberação de permissão a schemas e tabelas
Conteúdos Power BI para Engenheiro de dados
- Entendendo a necessidade da visualização e compartilhamento dos dados.
- O que é o Power BI?
- Fontes de Dados
- Tipos de Conexão
- Power BI Desktop
- Power BI Service
- Power BI Mobile
- Modelagem
- Compartilhamento (Apps, Dashboards, Reports)
- Licenciamento do Power BI (planos e capacidades)
- Laboratório Power BI:
- Ingestão
- Power Query (Linguagem M);
- DAX
- Analysis Services
- Gráficos
- Compartilhamento
- Workspaces
- Conjunto de dados
- Fluxo de Dados
- On Premises Data Gateway
- Atualização Agendada
- Alertas
- Assinaturas
Conteúdo Programático Unity Catalog
- OVERVIEW SOBRE GOVERNANÇA DE DADOS
- O QUE É O UNITY CATALOG?
- PREMISSAS PARA IMPLANTAÇÃO DO UNITY
- PROVISIONAMENTO
- CONFIGURAÇÃO
- METASTORE
- GRUPO DE USUARIOS
- SERVICE PRINCIPAL
- CREDENTIALS
- EXTERNAL LOCATIONS
- CATÁLOGOS
- SCHEMAS (DATABASES)
- TABELAS
- PERMISSÕES
- APLICAÇÃO DE TAGS
- UTILIZAÇÃO DA DATABASE INFORMATION_SCHEMA
- UTILIZAÇÃO DE AI
- ANÁLISE DE LINHAGEM
- MIGRAÇÃO DE TABELAS DO HIVE_METASTORE PARA O UNITY CATALOG
- CRIAÇÃO DE TABELAS NO UNITY CATALOG
- DATA QUALITY COM UNITY CATALOG
Conteúdos Programático Azure DevOps para Big Data
- Introdução ao Azure DevOps e seus recursos
- Práticas de DevOps em ambientes de Big Data
- Configuração e gerenciamento de pipelines de implantação
- Integração contínua e entrega contínua (CI/CD) em projetos de Big Data
- Automação de processos de implantação e monitoramento em ambientes de Big Data utilizando o Azure DevOps
Avaliações
Não há avaliações ainda.