Semana 12 Encontro conceitualMódulo III — Consultas, modelagem, transformação e disponibilização
Transformações
Transformação em lote e em fluxo, visualizações materializadas, federação e virtualização — e os elementos subjacentes entrando em ação.
- Semana
- 12 de 16 — ver data no cronograma
- Titularidade
- Docente
- Módulo
- III — Consultas, modelagem, transformação e disponibilização
Objetivos de aprendizagem
Ao fim deste Encontro você deve conseguir:
- Organizar transformações em camadas com critério explícito de promoção entre elas
- Escolher entre visualização materializada, federação e virtualização de consultas
- Projetar uma transformação idempotente e reprocessável
- Aplicar gerenciamento de dados, DataOps e orquestração à camada de transformação
Esta é a Semana em que os elementos subjacentes deixam de ser abstração. A seção final do capítulo mostra gerenciamento de dados, DataOps e orquestração aplicados à transformação — e é daí que saem dois requisitos do Projeto Integrado que não têm Semana própria: testes de qualidade e orquestração agendada.
Transformação versionada e declarativa muda o que significa “corrigir um número”.
Sem ela, alguém roda um UPDATE em produção e o número muda sem rastro. Com ela,
a correção é um commit, revisável, reexecutável e reversível — o princípio de
decisão reversível do capítulo 3 aplicado ao dado.
Visualização materializada, federação e virtualização resolvem o mesmo desconforto de formas opostas: materializar paga custo antes e entrega rápido; federar e virtualizar não pagam custo antes e podem entregar devagar, ou nem entregar, se a origem estiver fora do ar. É compromisso, não moda.
Material complementar
- dbt — Tests — Teste de dado como parte da transformação, não como etapa separada
- Great Expectations — Core concepts