Code Monkey home page Code Monkey logo

20230223_analise_gasolina_ipca's Introduction

Análise do preço do litro da gasolina, ajustado à inflação

1 Descrição do projeto

Demonstrativo da evolução do preço do litro da gasolina corrigido pela
inflação, com dados históricos do período de jan/2005 até dez/2022.

Dados coletados por meio de consulta ao Data Lake público da iniciativa
base dos dados (Google BigQuery) e requisição de API públicade do IBGE
de localidades localidades brasileiras.

2 Ferramentas e técnicas utilizadas

VS Code
Google Big Query
Duckdb
Python 3.10.5

3 Objetivos do autor

• desenvolver solução completa, desde a etapa de ETL até a visualização;

• utlizar dados públicos e conceitos da economia;

• evitar o uso de arquivos csv, construindo uma solução simplificada de
  banco de dados com duckdb, centralizando as tabelas;

• explorar o uso do SQl na etapa de tratamento dos dados, integrado com o
  python.

4 Funcionamento do projeto

4.1 Estrutura do projeto
------

	O projeto foi desenvolvido dentro do ambiente do Visual Studio
	Code e posteriormente no Power BI.

	O ETL será realizada com a excecução do arquivo './src/etl.py'.
	Ele inicia o processo de extração e inserção dos dados no banco,
	posteriormente ativa a etapa de transformação e carregamento.

	O resultado é a criação de 3 tabelas no banco e uma view. Sendo as
	primeiras as tabelas advindas do data lake e 1 da API IBGE. A view é a
	tabela tratada que será usada para consumo.

	As tabelas hospedadas no Data Lake da Base dos dados, exige procedimento
	prévio para sua coleta:

	Para realizar consulta, é necessário uma conta no Google Cloud, para ter
	acesso ao Google BigQuery. Após isso, com a criação de um projeto no
	Google Cloud, deverá registrar o ID do projeto em um arquivo '.env', no
	diretório principal do projeto.

	Dentro do arquivo '.env' deve conter apenas:
		
		PROJECT_ID_GOOGLE_CLOUD = <seu_ID_projeto_aqui-00000000>

	Após isso, basta executar o script e realizar o etl.

20230223_analise_gasolina_ipca's People

Contributors

ylder avatar

Stargazers

Jessica avatar

Watchers

 avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.