Descrição do que é engenharia de dados
Definir engenharia de dados e distingui-la de ciência de dados e de administração de banco
Encontros
Todo o material da disciplina, organizado por módulo e por Semana. Cada Encontro tem página própria com objetivos, leitura prévia e material.
A Semana é a unidade de ancoragem, e cada Encontro conceitual tem página própria: objetivos de aprendizagem, leitura prévia obrigatória, material da sessão e leitura complementar.
O Encontro conceitual roda em sala invertida — a leitura prévia é feita antes, e o tempo de sala é de discussão do caso e dos compromissos em jogo. Nas Semanas 13 a 15 ele é acompanhado dos Seminários Técnicos, e a Semana 16 é de defesa e retrospectiva.
Nenhum Encontro carrega data — a data vive só no cronograma. Se você está procurando “a aula de terça”, é lá.
Módulo I — Fundamentos e componentes essenciais
Semana 1
Semana 2
O ciclo de vida da engenharia de dados
Nomear os cinco estágios do ciclo: geração, armazenamento, ingestão, transformação e disponibilização
Semana 3
Princípios de uma boa arquitetura de dados
Distinguir arquitetura corporativa de arquitetura de dados
Semana 4
Conceitos e exemplos de arquitetura de dados
Distinguir acoplamento forte de fraco e reconhecer o padrão do monolito distribuído
Semana 5
Escolhendo tecnologias ao longo do ciclo de vida
Estimar custo total de propriedade e custo de oportunidade de uma escolha de tecnologia
Módulo II — O ciclo em detalhes: origem, armazenamento e ingestão
Semana 6
Geração de dados em sistemas de origem
Caracterizar as principais famílias de sistemas de origem e o que cada uma garante
Semana 7
Armazenamento: os ingredientes crus
Comparar disco magnético, SSD e memória por latência, taxa e custo, e dizer o que cada um impõe ao projeto
Semana 8
Sistemas e abstrações de armazenamento
Distinguir armazenamento de arquivos, de blocos e de objetos pelo que cada um garante e proíbe
Semana 9
Ingestão
Distinguir dados limitados de ilimitados e escolher a frequência de ingestão a partir do requisito, não do hábito
Módulo III — Consultas, modelagem, transformação e disponibilização
Semana 10
Consultas
Descrever o caminho de uma consulta, do parser ao plano executado
Semana 11
Modelagem de dados
Distinguir modelo conceitual, lógico e físico e dizer a quem cada um serve
Semana 12
Transformações
Organizar transformações em camadas com critério explícito de promoção entre elas
Semana 13
Disponibilizando dados para análise, ML e ETL reverso
Definir produto de dados e o que distingue disponibilizar de apenas dar acesso
Módulo IV — Segurança, privacidade e o futuro
Semana 13
Seminário Técnico — primeira rodada
Apresentar um aprofundamento técnico em 20 minutos, com experimento reprodutível
Semana 14
Segurança e privacidade
Aplicar o princípio do privilégio mínimo a uma plataforma de dados concreta
Seminário Técnico — segunda rodada
Apresentar um aprofundamento técnico em 20 minutos, com experimento reprodutível
Semana 15
O futuro da engenharia de dados
Explicar por que os autores sustentam que o ciclo de vida sobrevive às ferramentas
Seminário Técnico — terceira rodada
Apresentar um aprofundamento técnico em 20 minutos, com experimento reprodutível
Encerramento
Semana 16
Defesa da plataforma
Apresentar a plataforma completa a público misto, em 20 minutos
Retrospectiva do ciclo de vida percorrido
Reconstruir o ciclo de vida percorrido pela própria plataforma, estágio a estágio