Outro Tratamento de Informações - Microdados ENEM

[Pedro Passamani]

Prezados, bom dia.

 

Trabalho em uma escola, e estou com uma tarefa bem complicada (para minha pessoa) de fazer. O Inep, todos os anos, divulga os Microdados do Enem (http://inep.gov.br/artigo/-/asset_publisher/B4AQV9zFY7Bv/content/inep-divulga-os-microdados-do-enem-2016/21206), que são uma compilação de várias informações em um arquivo .csv, de aproximadamente 5GB. Junto com ele, vem também um arquivo dicionário, que contém as variáveis para filtragem e consulta. Destes dados, preciso obter o ranking das melhores escolas, porém não tenho ideia de como fazer isso. Já pesquisei e li várias postagens em vários sites, que indicaram o uso de programas como o R (https://www.r-project.org/) e até mesmo a "conversão" das informações para um banco de dados (SQL, etc), mas não entendi muito bem como proceder. Os senhores poderiam, por gentileza, me ajudar a manipular estes dados, para que eu tenha, pelo menos, um ponto de partida? Sou completamente leigo no tratamento de dados/funcionamento de um banco de dados, e este é meu primeiro contato com este tipo de informação.

 

Desde já, agradeço.

 

Atenciosamente,

Pedro Passamani

[Will871]

Importar pra sql seria uma boa, esse vídeo aqui te ajudaria bastante:

 

Tudo que precisa fazer é instalar algum programa que tenha o phpmyadmin, eles seriam o wamp server ou xampp (acredito que tenham outros, porém desconheço) e fazer o oposto que ele fez nesse vídeo, ao invés de criar as tabelas do csv baseado no phpmyadmin, você vai criar as tabelas do phpmyadmin baseado no csv, tendo todas os dados corretos, copie esse programa simples ai que ele criou baseado em suas necessidades e execute.

Boa sorte.  ^^

[Alessandro Corrêa]

Olá Pedro,

Estou com o mesmo problema. Tento importar para o R usando várias funções, mas trava.

Como foi que você resolveu? Pode me ajudar?

[Erciley Junior]

Amigo, não sei como é exatamente esse CSV, mas o MySQL Workbench possui a funcionalidade de importar e exportar dados em CSV.

 

Se esse seu arquivo for uma grande e única tabela, creio que daria para usar o Workbench, mas para isso, você teria que criar previamente a estrutura dessa tabela.

 

Outra forma, seria você criar um programa que leria seu CSV, pegasse as informações apenas das colunas relevantes, e jogasse isso em uma tabela ou em um arquivo formatado. 

Para leigos em programação, talvez o excel seja uma boa alternativa também. Não consegue abrir o arquivo por ele?