Pipeline baixa microdados e da RAIS e carrega 86 milhões de linhas
Os microdados de emprego formal da organização e da RAIS saem em arquivos.7z de centenas de MB, em texto ISO-8859-1 e com milhões de linhas por mês. Sem um processo automático de download, descompactação e carga, não é viável cruzar emprego por município e setor com outras bases.
O que ficou registrado no projeto
Estes números estão escritos nos arquivos do próprio projeto — não são estimativa nem projeção.
- Novo organização de setembro/2025: 3 arquivos, 4.434.833 registros inseridos (4.371.982 só em CAGEDMOV), 462,6 MB, em cerca de 2 minutos, sem falhas.
- RAIS 2024 parcial: 8 tarefas (7 concluídas, 1 ignorada), 81.868.454 registros, 38,8 GB, em cerca de 1 h 22 min.
- As duas primeiras descompactações de 07 (14:13 e 14:26) falharam nos 3 arquivos, a primeira por falta do pacote py7zr; a terceira, às 14:31, concluiu os 3.
O que o projeto precisava entregar
Baixar os arquivos do FTP do MTE, descompactar, corrigir a codificação e carregar o Novo organização e a RAIS 2024 em MongoDB para consulta por município, setor e período.
Como este case aparece aqui
Por acordo com o cliente, a empresa é identificada apenas pela atividade econômica — Setor Público.
Veja também
RAIS 2019-2024: 98 GB de microdados do MTE baixados e carregados em MongoDB
Setor Público: A RAIS é a principal fonte de emprego formal por município, CNAE e porte, mas vem em arquivos.7z de…
Ler →Pipeline carrega 215 milhões de registros abertos em MongoDB para consulta
Telecomunicações: A organização publica dezenas de bases abertas (acessos, cobertura, reclamações, qualidade,…
Ler →Catálogo de 28 bases do sobre emprego e trabalho, 6 acessíveis
Setor Público: Os dados oficiais de emprego (organização, RAIS, eSocial) e fiscalização do trabalho ficam em…
Ler →