Data lake em Python com ingestão padronizada e checagem de qualidade de dados
Cada projeto de dados começava com pastas, arquivos e verificações feitas à mão. Os dados chegavam em CSV, XLSX, PDF, áudio e vídeo, sem padrão de armazenamento nem medida de qualidade. Isso atrasava a análise e tornava o resultado difícil de repetir.
O que o projeto precisava entregar
Padronizar a criação do data lake por cliente e ano, ingerir os arquivos e medir a qualidade antes da análise. Incluir ferramentas para transformar áudio e vídeo em texto e resumi-lo com modelos de linguagem.
Como este case aparece aqui
Por acordo com o cliente, a empresa é identificada apenas pela atividade econômica — Plataforma de Dados. O resultado não aparece porque não foi apurado nos arquivos do projeto; onde houve apuração, ela está publicada nos casos em destaque.
Veja também
Biblioteca de tarefas em Python para NLP, busca de EAN e qualidade de dados
Plataforma de Dados: Cada projeto de dados reescrevia as mesmas rotinas de limpeza de texto, busca de código de…
Ler →Ingestão do eleitorado do TSE no data lake, com metadados e índices
Setor Público: As bases do TSE de eleitorado por local de votação e de perfil do eleitor por seção chegam em CSV…
Ler →N03 · Operacional e Dados
Agentes de ingestão de dados com agentes de IA na plataforma IVIBE (nível N03). A camada que alimenta todo o resto:…
Ler →