Descrição do que é engenharia de dados

Semana

1 de 16 — ver data no cronograma

Titularidade

Docente

Módulo

I — Fundamentos e componentes essenciais

Objetivos de aprendizagem

Ao fim deste Encontro você deve conseguir:

• Definir engenharia de dados e distingui-la de ciência de dados e de administração de banco
• Situar o engenheiro de dados entre as demais funções técnicas e a liderança corporativa
• Avaliar a maturidade de dados de uma organização e o que ela muda no trabalho do engenheiro
• Reconhecer os perfis tipo A e tipo B, e quando cada um é necessário

Engenharia de dados não é “SQL avançado”, nem “o time que faz o painel”, nem administração de banco com outro nome. É a disciplina que pega dado bruto e o deixa em condição de ser usado — e a maior parte do trabalho está em condições, não em consultas.

O capítulo abre com uma distinção que vale carregar o semestre inteiro: o engenheiro de dados trabalha a montante de quem analisa. Se o cientista de dados passa 70% do tempo limpando dado, isso é sintoma de engenharia mal feita, não de ciência mal feita.

Repare também na ideia de maturidade de dados. O mesmo cargo faz coisas opostas em organizações diferentes: numa empresa sem plataforma, o engenheiro constrói do zero e improvisa; numa com plataforma madura, ele escala e governa. Boa parte das discussões inúteis sobre “a ferramenta certa” some quando se pergunta primeiro em que estágio a organização está.

Nesta Semana as Squads são formadas e cada uma escolhe seu domínio de dados abertos. Leia antes a página do Projeto Integrado: a escolha de domínio tem dois requisitos que só doem lá na frente.

Material complementar

• Data Engineering Roadmap — O mapa do campo. O Plano de Ensino diz o que cobre e o que remete a outra disciplina