Classes Python que criam a estrutura de pastas do data lake por camada
Cada projeto de dados precisava da mesma árvore de pastas (ingestão, armazenamento, processamento) e isso era criado à mão ou por scripts R soltos. Estruturas diferentes por projeto dificultam reuso e auditoria.
O que o projeto precisava entregar
Padronizar em classes Python (orientação a objetos) a criação do data lake e de suas camadas de ingestão, armazenamento e processamento por tipo de arquivo.
Como este case aparece aqui
Por acordo com o cliente, a empresa é identificada apenas pela atividade econômica — Plataforma de Dados. O resultado não aparece porque não foi apurado nos arquivos do projeto; onde houve apuração, ela está publicada nos casos em destaque.
Os agentes que fazem este trabalho hoje
Todo projeto inclui o Maestro (IVI-N01-MA-MST) e o blueprint de governança de cada Sub-Maestro.
Veja também
Data lake em Python com ingestão padronizada e checagem de qualidade de dados
Plataforma de Dados: Cada projeto de dados começava com pastas, arquivos e verificações feitas à mão.
Ler →Biblioteca de tarefas em Python para NLP, busca de EAN e qualidade de dados
Plataforma de Dados: Cada projeto de dados reescrevia as mesmas rotinas de limpeza de texto, busca de código de…
Ler →Data lake comercial e logístico: KPIs, impacto causal de descontos e adesão de pacientes
Indústria Farmacêutica: A organização precisava enxergar vendas, estoque e entrega por canal e distribuidor, medir…
Ler →