Code Monkey home page Code Monkey logo

banco_dados_sql's Introduction

Projeto de Extração e Transformação de Dados

Este projeto consiste em um script em Python para extrair e transformar dados de um banco de dados PostgreSQL. O objetivo é extrair os dados brutos de solicitações realizadas em um determinado período de tempo e transformá-los em um formato mais adequado para análise.

Funcionalidades

  • Conexão com um banco de dados PostgreSQL para extrair os dados de solicitações.
  • Extração dos dados em arquivos CSV separados por data.
  • Transformação dos dados, incluindo tratamento de colunas, agregação e formatação.
  • Concatenação dos dados transformados por mês.
  • Geração de arquivos CSV contendo os dados tratados para cada mês.

Requisitos

  • Python 3.7 ou superior
  • Bibliotecas Python: pandas, psycopg2, shutil, concurrent.futures

Configuração

  1. Certifique-se de ter Python instalado no seu sistema.
  2. Instale as bibliotecas necessárias executando o seguinte comando:

python main.py

  1. Faça o download do projeto para o seu diretório de trabalho.

Uso

  1. Configure as variáveis de conexão com o banco de dados PostgreSQL no script:
  • db_host: endereço do host do banco de dados
  • db_port: porta do banco de dados
  • db_name: nome do banco de dados
  • db_user: usuário do banco de dados
  • db_password: senha do usuário do banco de dados
  1. Defina o período de tempo desejado para a extração e transformação de dados no script:
  • start_date: data inicial no formato "YYYY-MM-DD"
  • end_date: data final no formato "YYYY-MM-DD"
  1. Execute o script Python:

pip install psycopg2 pandas

  1. O script irá extrair os dados brutos para cada dia no período especificado e, em seguida, transformá-los em arquivos tratados por mês.
  2. Os arquivos tratados serão salvos na pasta "base_geral" no diretório de trabalho.

Autor

Otavio Augusto - https://github.com/otavioaugust1

Licença

Este projeto está licenciado sob a Licença MIT. Consulte o arquivo LICENSE para obter mais informações.

banco_dados_sql's People

Contributors

otavioaugust1 avatar

Watchers

 avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.