Censos 2011

Os Recenseamentos da População e da Habitação, abreviadamente designados por Censos, são uma contagem da população e do parque habitacional que decorre todos os 10 anos. A informação recolhida permite saber quantos somos, como somos e como vivemos.

Link: Quadros de apuramento do Censos 2011.

data.world

At data.world, we want to tear down the barriers between people and data by building the most meaningful, collaborative, and abundant data resource in the world. We’re building a platform where people can:

– Discover, prepare, and share relevant data from a wide range of sources

– Reduce the overhead of managing numerous file formats from many different places

– Explore and create a shared understanding of your data

– Contribute and discuss data in one place to aid fast, efficient, and fruitful collaboration.

Censos 2011 do INE no data.world

Este projecto tem como objectivo disponibilizar no site data.word os resultados dos censos 2011 do INE para utilização em projectos de análises dados. Apesar de os dados poderem ser consultados anonimamente, para poder desfrutar de todo o potencial é necessário criar uma conta (gratuita).

Os dados em data.world, podem ser consumidos directamente pela maioria das ferramentas usadas hoje em dia: Excel, R, SPSS, PowerBi, Java, Javascript, Tableau, etc.

Foram carregados exactamente como são disponibilizados pelo INE cujo formato é, por vezes, pouco prático:

Como podem ver pelo exemplo, a mesma coluna pode apresentar vários níveis de dados sendo que a diferenciação entre eles é o número de espaços antes do texto. Usar estes dados em análise exige algum trabalho prévio de normalização. Como o data.world não tem ferramentas para este tipo de trabalho, o ideal é carregar os dados como estão e trabalha-los do lado do cliente. Isso funciona bem com ferramentas poderosas como o powerbi mas é mais problemático em linguagens mais simples como o javascript. Nessa situação deve-se tentar trabalhar os dados com consultas sql do lado do data.world. Se precisarem de ajuda para algum projecto, apitem.

Devido ao tempo necessário para introduzir e à quantidade de dados que compõem os resultados do Censos, por agora só estão disponíveis os dados resumo e alguns dados de população. No entanto, se alguém quiser usar alguma tabela de resultados não disponível neste momento estejam à vontade para pedir, que eu faço o upload.

Link: Censos 2011 INE

Exemplos

exemplo em powerbi

Usar dados do data.world em powerbi resume-se a escolher a opção “open in app”  e escolher powerbi para que sejam apresentados os parametros a usar no powerbi:

Exemplo: Análise a religião dos residentes em Portugal com idade superior a 15 anos e baseia-se nos Censos de 2011 do INE.

Podem ler sobre esta análise no artigo que escrevi anteriormente aqui no site.

exemplo em Javascript/D3/Dimple

Para usar dados em Dimple ou D3 precisa que eles sejam partilhados em formato CSV. Se os dados que colocou no data.world não estão nesse formato, não os pode usar directamente, precisa de fazer uma consulta (sql query) que, essas sim, podem ser partilhadas em CSV.

Depois de ter a consulta só precisa de efectuar dois passos. Primeiro tem de partilhar a consulta que deseja usando o botão Download -> Copy URL

Por exemplo, eis o url para população por concelho e freguesia, zona norte, dados dos censos 2011: População por concelho e freguesia, norte

De seguida só tem usar o url criado na função D3.csv. No nosso caso, para criar um gráfico com dados do exemplo anterior usaríamos o código:

d3.csv(" https://download.data.world/s/gql3nqd6xio7nj36oelcfu4volkkma",
  function(error, data) {
    var svg = dimple.newSvg("body", 1200, 700);
    var chart = new dimple.chart(svg, data);
    var x = chart.addCategoryAxis("x", "concelho");
    var y = chart.addMeasureAxis("y", "populacao");
    chart.addSeries("freguesia", dimple.plot.bar,[x,y]);
    chart.draw();}
);

Para ver este, e outros exemplos, em funcionamento veja o site Páginas Avulsas onde vou publicando alguns testes com dados.