{"id":351,"date":"2018-10-25T12:06:09","date_gmt":"2018-10-25T11:06:09","guid":{"rendered":"https:\/\/analisesvisuais.claudiotereso.com\/?p=174"},"modified":"2021-10-20T21:01:19","modified_gmt":"2021-10-20T20:01:19","slug":"censos-2011-do-ine-no-site-data-world","status":"publish","type":"post","link":"https:\/\/work.claudiotereso.com\/en\/censos-2011-do-ine-no-site-data-world\/","title":{"rendered":"CENSOS 2011 do INE no site data.world"},"content":{"rendered":"\n<h2 class=\"wp-block-heading\">Censos 2011<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Os Recenseamentos da Popula\u00e7\u00e3o e da Habita\u00e7\u00e3o, abreviadamente designados por Censos, s\u00e3o uma contagem da popula\u00e7\u00e3o e do parque habitacional que decorre todos os 10 anos. A informa\u00e7\u00e3o recolhida permite saber quantos somos, como somos e como vivemos. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Link: <a href=\"http:\/\/censos.ine.pt\/xportal\/xmain?xpid=CENSOS&amp;xpgid=censos_quadros\" target=\"_blank\" rel=\"noreferrer noopener\">Quadros de apuramento do Censos 2011<\/a>.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">data.world<\/h2>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\"><p>At <a rel=\"noreferrer noopener\" href=\"http:\/\/data.world\" target=\"_blank\">data.world<\/a>, we want to tear down the barriers between people and data by building the most meaningful, collaborative, and abundant data resource in the world. We&#8217;re building a platform where people can:<\/p><p>&#8211; Discover, prepare, and share relevant data from a wide range of sources<\/p><p>&#8211; Reduce the overhead of managing numerous file formats from many different places<\/p><p>&#8211; Explore and create a shared understanding of your data<\/p><p>&#8211; Contribute and discuss data in one place to aid fast, efficient, and fruitful collaboration.<\/p><\/blockquote>\n\n\n\n<div style=\"max-width: 800px;text-align:center\">\n<figure class=\"wp-block-embed-youtube aligncenter wp-block-embed is-type-video is-provider-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<div class=\"post-video\"><iframe loading=\"lazy\" data-tf-not-load=\"1\" title=\"What does data.world do?\" width=\"1165\" height=\"655\" src=\"https:\/\/www.youtube.com\/embed\/kdPkWDqks3g?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture\" allowfullscreen><\/iframe><\/div>\n<\/div><figcaption>Video de apresenta\u00e7\u00e3o do data.world<\/figcaption><\/figure><\/div>\n\n\n\n<h2 class=\"wp-block-heading\">Censos 2011 do INE no data.world<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Este projecto tem como objectivo disponibilizar no site data.word os resultados dos censos 2011 do INE para utiliza\u00e7\u00e3o em projectos de an\u00e1lises dados. Apesar de os dados poderem ser consultados anonimamente, para poder desfrutar de todo o potencial \u00e9 necess\u00e1rio criar uma conta (gratuita).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Os dados em data.world, podem ser consumidos directamente pela maioria das ferramentas usadas hoje em dia: Excel, R, SPSS, PowerBi, Java, Javascript, Tableau, etc.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Foram carregados exactamente como s\u00e3o disponibilizados pelo INE cujo formato \u00e9, por vezes, pouco pr\u00e1tico:<\/p>\n\n\n\n<div class=\"wp-block-image is-style-default\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/work.claudiotereso.com\/wp-content\/uploads\/2020\/05\/image-2.png\" alt=\"\" class=\"wp-image-195\"\/><figcaption>Fig. 1 Extracto de ficheiro q101.xls<\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Como podem ver pelo exemplo, a mesma coluna pode apresentar v\u00e1rios n\u00edveis de dados sendo que a diferencia\u00e7\u00e3o entre eles \u00e9 o n\u00famero de espa\u00e7os antes do texto. Usar estes dados em an\u00e1lise exige algum trabalho pr\u00e9vio de normaliza\u00e7\u00e3o. Como o data.world n\u00e3o tem ferramentas para este tipo de trabalho, o ideal \u00e9 carregar os dados como est\u00e3o e trabalha-los do lado do cliente. Isso funciona bem com ferramentas poderosas como o powerbi mas \u00e9 mais problem\u00e1tico em linguagens mais simples como o javascript. Nessa situa\u00e7\u00e3o deve-se tentar trabalhar os dados com consultas sql do lado do data.world. Se precisarem de ajuda para algum projecto, apitem.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Devido ao tempo necess\u00e1rio para introduzir e \u00e0 quantidade de dados que comp\u00f5em os resultados do Censos, por agora s\u00f3 est\u00e3o dispon\u00edveis os dados resumo e alguns dados de popula\u00e7\u00e3o. No entanto, se algu\u00e9m quiser usar alguma tabela de resultados n\u00e3o dispon\u00edvel neste momento estejam \u00e0 vontade para pedir, que eu fa\u00e7o o <em>upload<\/em>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Link:&nbsp;<a href=\"https:\/\/data.world\/claudiotereso\/portugal-censos-2011-fonte-ine\" target=\"_blank\" rel=\"noreferrer noopener\">Censos 2011 INE<\/a><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Exemplos<\/h2>\n\n\n\n<h4 class=\"wp-block-heading\">exemplo em powerbi<\/h4>\n\n\n\n<p class=\"wp-block-paragraph\">Usar dados do data.world em powerbi resume-se a escolher a op\u00e7\u00e3o &#8220;open in app&#8221; <img decoding=\"async\" class=\"wp-image-190\" style=\"width: 31px;\" src=\"https:\/\/work.claudiotereso.com\/wp-content\/uploads\/2020\/05\/addapp.jpg\" alt=\"\" height=\"28\">&nbsp;e escolher powerbi para que sejam apresentados os parametros a usar no powerbi:<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter is-resized\"><a href=\"https:\/\/work.claudiotereso.com\/wp-content\/uploads\/2020\/05\/image.png\" rel=\"prettyPhoto[351]\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/work.claudiotereso.com\/wp-content\/uploads\/2020\/05\/image.png\" alt=\"\" class=\"wp-image-188\" width=\"249\" height=\"199\"\/><\/a><figcaption>Fig. 2 informa\u00e7\u00f5es para ligar ao inqu\u00e9rito 649, dados para o pa\u00eds<\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Exemplo:&nbsp;An\u00e1lise a religi\u00e3o dos residentes em Portugal com idade superior a 15 anos e baseia-se nos Censos de 2011 do INE.<\/p>\n\n\n\n<p style=\"text-align:center\"><iframe loading=\"lazy\" width=\"800\" height=\"600\" src=\"https:\/\/app.powerbi.com\/view?r=eyJrIjoiOWM2M2RmNmMtN2Y0OS00YTg4LTk3MWQtZTMwMzQ0YmNkMGZjIiwidCI6IjU4Y2RiZjFjLWMwNDQtNDk1NS04OWFiLTVlNzlmMjkxOWVlZiIsImMiOjh9\" allowfullscreen=\"true\"><\/iframe><\/p>\n\n\n\n<p class=\"wp-block-paragraph\"> Podem ler sobre esta an\u00e1lise no\u00a0<a href=\"https:\/\/work.claudiotereso.com\/censos-2011-religiao-em-portugal\/\" target=\"_blank\" rel=\"noreferrer noopener\">artigo<\/a> que escrevi anteriormente aqui no site. <\/p>\n\n\n\n<h4 class=\"wp-block-heading\">exemplo em Javascript\/D3\/Dimple<\/h4>\n\n\n\n<p class=\"wp-block-paragraph\">Para usar dados em Dimple ou D3 precisa que eles sejam partilhados em formato CSV. Se os dados que colocou no data.world n\u00e3o est\u00e3o nesse formato, n\u00e3o os pode usar directamente, precisa de fazer uma consulta (<em>sql query<\/em>) que, essas sim, podem ser partilhadas em CSV.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Depois de ter a consulta s\u00f3 precisa de efectuar dois passos. Primeiro tem de partilhar a consulta que deseja usando o bot\u00e3o <em>Download -&gt; Copy URL<\/em><\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter\"><img decoding=\"async\" src=\"https:\/\/work.claudiotereso.com\/wp-content\/uploads\/2020\/05\/CSVurl.jpg\" alt=\"\" class=\"wp-image-210\"\/><figcaption>Fig. 3 Obter URL<\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Por exemplo, eis o <em>url<\/em> para popula\u00e7\u00e3o por concelho e freguesia, zona norte, dados dos censos 2011:&nbsp;<a href=\"https:\/\/download.data.world\/s\/gql3nqd6xio7nj36oelcfu4volkkma\">Popula\u00e7\u00e3o por concelho e freguesia, norte<\/a><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">De seguida s\u00f3 tem usar o url criado na fun\u00e7\u00e3o D3.csv. No nosso caso, para criar um gr\u00e1fico com dados do exemplo anterior usar\u00edamos o c\u00f3digo:<\/p>\n\n\n\n<pre class=\"wp-block-preformatted\">d3.csv(\" <code>https:\/\/download.data.world\/s\/gql3nqd6xio7nj36oelcfu4volkkma<\/code>\",\n  function(error, data) {\n    var svg = dimple.newSvg(\"body\", 1200, 700);\n    var chart = new dimple.chart(svg, data);\n    var x = chart.addCategoryAxis(\"x\", \"concelho\");\n    var y = chart.addMeasureAxis(\"y\", \"populacao\");\n    chart.addSeries(\"freguesia\", dimple.plot.bar,[x,y]);\n    chart.draw();}\n);<\/pre>\n\n\n\n<p>Para ver este, e outros exemplos, em funcionamento veja o site <a href=\"http:\/\/paginasavulsas.claudiotereso.com\/\" target=\"_blank\" rel=\"noreferrer noopener\">P\u00e1ginas Avulsas<\/a> onde vou publicando alguns testes com dados.<\/p>\n\n\n<!--themify_builder_content-->\n<div id=\"themify_builder_content-351\" data-postid=\"351\" class=\"themify_builder_content themify_builder_content-351 themify_builder tf_clear\">\n    <\/div>\n<!--\/themify_builder_content-->\n","protected":false},"excerpt":{"rendered":"<p>O INE disponibiliza gratuitamente os dados dos Censos, mas num formato pouco pr\u00e1tico. Este artigo descreve com foi implementada a disponibiliza\u00e7\u00e3o desses dados no site world.data para usufruto de todos os interessados.<\/p>","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_feature_clip_id":0,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_post_was_ever_published":false},"categories":[28],"tags":[26,34,27,29],"class_list":["post-351","post","type-post","status-publish","format-standard","hentry","category-ine-censos","tag-censos2011","tag-data-world","tag-ine","tag-portugal","has-post-title","has-post-date","has-post-category","has-post-tag","has-post-comment","has-post-author",""],"jetpack_featured_media_url":"","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/work.claudiotereso.com\/en\/wp-json\/wp\/v2\/posts\/351","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/work.claudiotereso.com\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/work.claudiotereso.com\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/work.claudiotereso.com\/en\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/work.claudiotereso.com\/en\/wp-json\/wp\/v2\/comments?post=351"}],"version-history":[{"count":17,"href":"https:\/\/work.claudiotereso.com\/en\/wp-json\/wp\/v2\/posts\/351\/revisions"}],"predecessor-version":[{"id":627,"href":"https:\/\/work.claudiotereso.com\/en\/wp-json\/wp\/v2\/posts\/351\/revisions\/627"}],"wp:attachment":[{"href":"https:\/\/work.claudiotereso.com\/en\/wp-json\/wp\/v2\/media?parent=351"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/work.claudiotereso.com\/en\/wp-json\/wp\/v2\/categories?post=351"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/work.claudiotereso.com\/en\/wp-json\/wp\/v2\/tags?post=351"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}