Pipeline carrega 215 milhões de registros abertos da em MongoDB para consulta
A organização publica dezenas de bases abertas (acessos, cobertura, reclamações, qualidade, outorgas) em arquivos CSV e KML de vários GB, com codificações e separadores diferentes. Sem uma base única, não dá para cruzar cobertura, acessos e reclamações por município ou operadora. Analisar esses arquivos um a um não cabe em um computador comum.
O que o projeto precisava entregar
Catalogar as bases abertas da organização, baixar e descompactar os arquivos e carregá-los em MongoDB (banco base\_anatel) com leitura em blocos, preparando a consulta e o cruzamento posteriores.
Como este case aparece aqui
Por acordo com o cliente, a empresa é identificada apenas pela atividade econômica — Telecomunicações. O resultado não aparece porque não foi apurado nos arquivos do projeto; onde houve apuração, ela está publicada nos casos em destaque.
Veja também
Pipeline baixa microdados do CAGED e da RAIS e carrega 86 milhões de linhas
Setor Público: Os microdados da organização formal do CAGED e da RAIS saem em arquivos.7z de centenas de MB, em…
Ler →Base de CNPJ da carregada e filtrada por CNAE para mapear lojas
Setor Público: A base aberta de CNPJ da organização vem em arquivos zip gigantes, sem tratamento.
Ler →Catálogo mapeia 26 bases abertas e mede quais já estão acessíveis
Saúde, Clínicas e Operadoras: A organização publica dados de operadoras, beneficiários, finanças, qualidade e…
Ler →