Pipeline carrega 215 milhões de registros abertos em MongoDB para consulta
A organização publica dezenas de bases abertas (acessos, cobertura, reclamações, qualidade, outorgas) em arquivos CSV e KML de vários GB, com codificações e separadores diferentes. Sem uma base única, não dá para cruzar cobertura, acessos e reclamações por município ou operadora. Analisar esses arquivos um a um não cabe em um computador comum.
O que ficou registrado no projeto
Estes números estão escritos nos arquivos do próprio projeto — não são estimativa nem projeção.
- Carga de 12: 77 tarefas (70 concluídas, 7 ignoradas, 0 falhas), 215.835.584 linhas inseridas, 28,6 GB lidos, em cerca de 2 h 05 min.
- Carga de 08: 90 tarefas concluídas, 68.512.937 linhas inseridas, 8,3 GB, em cerca de 36 min.
- Maior coleção carregada: anatel_reclamacoes, com 15.952.407 linhas; acessos de telefonia móvel somam cerca de 14 milhões de linhas por semestre.
O que o projeto precisava entregar
Catalogar as bases abertas da organização, baixar e descompactar os arquivos e carregá-los em MongoDB (banco base_anatel) com leitura em blocos, preparando a consulta e o cruzamento posteriores.
Como este case aparece aqui
Por acordo com o cliente, a empresa é identificada apenas pela atividade econômica — Telecomunicações.
Veja também
Pipeline baixa microdados e da RAIS e carrega 86 milhões de linhas
Setor Público: Os microdados de emprego formal da organização e da RAIS saem em arquivos.7z de centenas de MB, em…
Ler →Base de CNPJ da carregada e filtrada por CNAE para mapear lojas
Setor Público: A base aberta de CNPJ da organização vem em arquivos zip gigantes, sem tratamento.
Ler →Catálogo mapeia 26 bases abertas e mede quais já estão acessíveis
Saúde, Clínicas e Operadoras: A organização publica dados de operadoras, beneficiários, finanças, qualidade e…
Ler →