Pipeline baixa microdados do CAGED e da RAIS e carrega 86 milhões de linhas
Os microdados da organização formal do CAGED e da RAIS saem em arquivos.7z de centenas de MB, em texto ISO-8859-1 e com milhões de linhas por mês. Sem um processo automático de download, descompactação e carga, não é viável cruzar organização por município e setor com outras bases.
O que o projeto precisava entregar
Baixar os arquivos do FTP do MTE, descompactar, corrigir a codificação e carregar o Novo CAGED e a RAIS 2024 em MongoDB para consulta por município, setor e período.
Como este case aparece aqui
Por acordo com o cliente, a empresa é identificada apenas pela atividade econômica — Setor Público. O resultado não aparece porque não foi apurado nos arquivos do projeto; onde houve apuração, ela está publicada nos casos em destaque.
Veja também
RAIS 2019-2024: 98 GB de microdados do MTE baixados e carregados em MongoDB
Setor Público: A RAIS é a principal fonte da organização formal por município, CNAE e porte, mas vem em arquivos.7z…
Ler →CNPJ aberto: 251 GB em downloads mensais e carga em MongoDB
Contabilidade e Tributos: Quase toda análise de mercado precisa saber quantas empresas existem, onde estão, em que…
Ler →Pipeline carrega 215 milhões de registros abertos da em MongoDB para consulta
Telecomunicações: A organização publica dezenas de bases abertas (acessos, cobertura, reclamações, qualidade,…
Ler →