O ciclo de vida da engenharia de dados

Semana

2 de 16 — ver data no cronograma

Titularidade

Docente

Módulo

I — Fundamentos e componentes essenciais

Objetivos de aprendizagem

Ao fim deste Encontro você deve conseguir:

• Nomear os cinco estágios do ciclo: geração, armazenamento, ingestão, transformação e disponibilização
• Distinguir o ciclo de vida do dado do ciclo de vida da engenharia de dados
• Nomear os seis elementos subjacentes e reconhecê-los dentro de cada estágio
• Situar uma plataforma existente no ciclo e apontar o estágio mais frágil dela

Este é o capítulo que dá o mapa. Os cinco estágios — geração, armazenamento, ingestão, transformação, disponibilização — não são fases de um projeto: são lugares onde o dado está, e a plataforma toca todos ao mesmo tempo.

O que costuma escapar numa primeira leitura são os elementos subjacentes: segurança, gerenciamento de dados, DataOps, arquitetura de dados, orquestração e engenharia de software. Eles não têm Semana própria nesta disciplina, e isso é deliberado — é a estrutura do livro. Eles não são etapas; são o que atravessa todas as etapas. Segurança não acontece “depois”, e orquestração não é um software que se instala no fim.

Repare que dois requisitos do Projeto Integrado moram aqui, e só aqui: orquestração agendada e testes de qualidade. Não haverá uma Semana chamada “orquestração”. Haverá esta Semana, e depois o Projeto Integrado, em que vocês a praticam. Se ficar só na teoria de hoje, a E3 cobra.

Material complementar

• dbt — How we structure our dbt projects — Um exemplo concreto de como transformação e DataOps aparecem juntos