Code Monkey home page Code Monkey logo

python-jobs's Introduction

Job Insights!

Neste projeto foram implementadas análises a partir de um conjunto de dados sobre empregos. As implementações serão incorporadas a um aplicativo Web - fornecido pela trybe - desenvolvido com Flask (um framework web muito popular na comunidade Python).

Também desenvolvi testes para a funções implementadas. Por fim, como bônus, tive o desafio de escrever uma rota e view para um recurso novo usando Flask!

Os dados foram extraídos do site Glassdoor e obtidos através do Kaggle, uma plataforma disponiblizando conjuntos de dados para cientistas de dados.


Desafios:

  • Utilizar o terminal interativo do Python.
  • Utilizar estruturas condicionais e de repetição.
  • Utilizar funções built-in do Python.
  • Utilizar tratamento de exceções.
  • Realizar a manipulação de arquivos.
  • Escrever funções.
  • Escrever testes com Pytest.
  • Escrever seus próprios módulos e importá-los em outros códigos.
Orientações
  1. Clone o repositório
  • Use o comando: git clone [email protected]:patriciapadilha/python-jobs.git.
  • Entre na pasta do repositório que você acabou de clonar:
    • cd python-jobs
  1. Crie o ambiente virtual para o projeto
  • python3 -m venv .venv && source .venv/bin/activate
  1. Instale as dependências
  • python3 -m pip install -r dev-requirements.txt
  1. Para rodar o Flask
  • flask run

  • Acesse o site gerado pelo Flask em http://localhost:5000.

  1. Para rodar os testes
  • python3 -m pytest

  • Caso precise executar apenas um arquivo de testes basta executar o comando:

    • python3 -m pytest tests/nomedoarquivo.py

Requisitos Obrigatórios

1 - Implemente a função read

Implemente em: src/jobs.py

Para começarmos a processar os dados, devemos antes carregá-los em nossa aplicação. Esta função será responsável por abrir o arquivo CSV e retornar os dados no formato de uma lista de dicionários.

  • A função deve receber um path (uma string com o caminho para um arquivo).
  • A função deve abrir o arquivo e ler seus conteúdos.
  • A função deve tratar o arquivo como CSV.
  • A função deve retornar uma lista de dicionários, onde as chaves são os cabeçalhos de cada coluna e os valores correspondem a cada linha.
📝Exemplo Se o conteúdo do arquivo for:
nome,cidade,telefone
Ana,Curitiba,1111111
Bernardo,Santos,999999
O retorno da função deverá ser: 
  [
    {"nome": "Ana", "cidade": "Curitiba", "telefone": "1111111"},
    {"nome": "Bernardo", "cidade": "Santos", "telefone": "999999"}
  ]
✍️ Teste manual Abra um terminal Python importando estas funções através do comando python3 -i src/jobs.py e invoque a função utilizando diferentes _paths_.
🤖 O que será verificado pelo avaliador
  • A função abre o arquivo passado como parâmetro
  • A função retorna uma lista de dicionários
  • A função retorna a quantidade correta de itens na lista
  • Nos dicionários retornados pela função, as chaves correspondem aos cabeçalhos do arquivo

2 - Implemente a função get_unique_job_types

Implemente em: src/insights.py

Agora que temos como carregar os dados, podemos começar a extrair informação deles. Primeiro, vamos identificar quais tipos de empregos existem.

  • A função deve receber o path do arquivo csv com os dados.
  • A função deve invocar a função jobs.read com o path recebido para obter os dados.
  • A função deve retornar uma lista de valores únicos presentes na coluna job_type.
🤖 O que será verificado pelo avaliador
  • A função carrega os dados do arquivo recebido como parâmetro
  • A função retorna a quantidade correta de valores
  • A função retorna os valores corretos
  • A função desconsidera valores vazios

3 - Implemente a função get_unique_industries

Implemente em: src/insights.py

Da mesma forma, agora iremos identificar quais indústrias estão representadas nesse conjunto de dados.

  • A função deve obter os dados da mesma forma que o requisito 2.
  • A função deve retornar uma lista de valores únicos presentes na coluna industry.
  • A função desconsidera valores vazios
🤖 O que será verificado pelo avaliador
  • A função carrega os dados do arquivo recebido como parâmetro
  • A função retorna a quantidade correta de valores
  • A função retorna os valores corretos

4 - Implemente a função get_max_salary

Implemente em: src/insights.py

Os dados apresentam faixas salariais para cada emprego exibido. Vamos agora encontrar o maior valor de todas as faixas.

  • A função deve obter os dados da mesma forma que o requisito 2.
  • A função deve ignorar os valores ausentes.
  • A função deve retornar um valor inteiro com o maior salário presente na coluna max_salary.
🤖 O que será verificado pelo avaliador
  • A função carrega os dados do arquivo recebido como parâmetro
  • A função retorna o valor correto

5 - Implemente a função get_min_salary

Implemente em: src/insights.py

Os dados apresentam faixas salariais para cada emprego exibido. Vamos agora encontrar o menor valor de todas as faixas.

  • A função deve obter os dados da mesma forma que o requisito 2.
  • A função deve ignorar os valores ausentes.
  • A função deve retornar um valor inteiro com o menor salário presente na coluna min_salary.
🤖 O que será verificado pelo avaliador
  • A função carrega os dados do arquivo recebido como parâmetro
  • A função retorna o valor correto

6 - Implemente a função filter_by_job_type

Contagem

Implemente em: src/insights.py

Os empregos estão listados em um aplicativo web. Para permitir que a pessoa usuária possa filtrar os empregos por tipo de emprego, vamos precisar implementar esse filtro.

  • A função deve receber uma lista de dicionários jobs como primeiro parâmetro.
  • A função deve receber uma string job_type como segundo parâmetro.
  • A função deve retornar uma lista com todos os empregos onde a coluna job_type corresponde ao parâmetro job_type.
🤖 O que será verificado pelo avaliador
  • A função retorna a quantidade correta de valores
  • A função retorna os valores corretos
  • A função retorna os valores na ordem correta
  • A função retorna uma lista vazia para job_types ausentes nos jobs recebidos

7 - Implemente a função filter_by_industry

Implemente em: src/insights.py

Do mesmo modo, o aplicativo precisa permitir uma filtragem por indústria. Vamos precisar implementar esse filtro também.

  • A função deve receber uma lista de dicionários jobs como primeiro parâmetro.
  • A função deve receber uma string industry como segundo parâmetro.
  • A função deve retornar uma lista de dicionários com todos os empregos onde a coluna industry corresponde ao parâmetro industry.
🤖 O que será verificado pelo avaliador
  • A função retorna a quantidade correta de valores
  • A função retorna os valores corretos
  • A função retorna os valores na ordem correta
  • A função retorna uma lista vazia para job_types ausentes nos jobs recebidos

8 - Implemente a função matches_salary_range

Implemente em: src/insights.py

O aplicativo vai precisar filtrar os empregos por salário também. Como uma função auxiliar, implemente matches_salary_range para conferir que o salário procurado está dentro da faixa salarial daquele emprego. Vamos aproveitar também para conferir se a faixa salarial faz sentido -- isto é, se o valor mínimo é menor que o valor máximo.

  • A função deve receber um dicionário job como primeiro parâmetro, com as chaves min_salary e max_salary.
  • A função deve receber um inteiro salary como segundo parâmetro.
  • A função deve lançar um erro ValueError nos seguintes casos:
    • alguma das chaves min_salary ou max_salary estão ausentes no dicionário;
    • alguma das chaves min_salary ou max_salary tem valores não-numéricos;
    • o valor de min_salary é maior que o valor de max_salary;
    • o parâmetro salary tem valores não numéricos;
  • A função deve retornar True se o salário procurado estiver dentro da faixa salarial ou False se não estiver.
🤖 O que será verificado pelo avaliador
  • A função retorna o booleano correto
  • A função lança um ValueError se o valor de min_salary for maior que o valor de max_salary
  • A função lança um ValueError se as chaves min_salary ou max_salary tiverem valores não numéricos
  • A função lança um ValueError se o parâmetro salary tiver valor não numérico
  • A função lança um ValueError se as chaves min_salary ou max_salary estiverem ausentes no dicionário

9 - Implemente a função filter_by_salary_range

Implemente em: src/insights.py

Agora vamos implementar o filtro propriamente dito. Para esta filtragem, podemos usar a função auxiliar implementada no requisito anterior -- tomando o cuidado de descartar os empregos que apresentarem faixas salariais inválidas.

  • A função deve receber uma lista de dicionários jobs como primeiro parâmetro.
  • A função deve receber um inteiro salary como segundo parâmetro.
  • A função deve ignorar os empregos com valores inválidos para min_salary ou max_salary.
  • A função deve retornar uma lista com todos os empregos onde o salário salary estiver entre os valores da coluna min_salary e max_salary.
🤖 O que será verificado pelo avaliador
  • A função retorna a quantidade correta de valores
  • A função retorna os valores corretos
  • A função retorna os valores na ordem correta
  • Empregos onde as chaves min_salary ou max_salary tiverem valores não numéricos devem ser ignorados
  • Empregos onde o valor de min_salary for maior que o valor de max_salary devem ser ignorados

10 - Implemente um teste para a função count_ocurrences

Implemente em: tests/counter/test_counter.py

<p align="center">
  <img src="/.images/flask.png" alt="Imagem sobre contar ocorrências" width="600"/>
</p>

A empresa cliente contratou um relatório que informa a quantidade de ocorrências das palavra Python e Javascript nos dados e, para isso, temos uma implementação pronta em src/counter.py. Durante o desenvolvimento, sofremos com alguns bugs, que já foram resolvidos. Para termos certeza e confiança da nossa entrega, no entanto, e não corrermos riscos, precisaremos de testes automatizados que garantam isso!

O nome deste teste deve ser test_counter, e ele deve garantir que atenda estas especificações:

  • Chamar a função count_ocurrences passando dois parâmetros:
    • path uma string com o caminho do arquivo (src/jobs.csv);
    • word uma string com a palavra a ser contabilizada.
  • Garantir que a função retorna corretamente a quantidade de ocorrências da palavra solicitada
    • A contagem de palavras deve ser case insentitive, ou seja, não diferenciar letras maiúsculas de minúsculas
📌Como seu teste é avaliado O teste da Trybe irá avaliar se o seu teste está passando conforme seu objetivo e confirmará se ele está falhando em alguns casos que deve falhar. Para estes testes que esperemos que falhe, o requisito será considerado atendido quando a resposta do Pytest for XFAIL(Expected Fail) ao invés de PASS ou FAIL.
🤖 O que será verificado pelo avaliador
  • O teste rejeita implementações que não retornam a quantidade de palavras corretamente.
  • O teste aprova implementações corretas.
  • Se o teste não é um falso positivo, ou seja, teste que passa sem realmente testar o código.

11 - Implemente um teste para a função read_brazilian_file

Implemente em: tests/brazilian/test_brazilian_jobs.py

A empresa cliente analisa relatórios em inglês, porém agora ela quer expandir seus negócios aqui para o Brasil e deseja analisar relatórios em português também. No entanto, as chaves do dict que usamos pra organizar os dados devem continuar em inglês. Ou seja: para gerar o relatório, deveremos ler as chaves em português e traduzi-las para inglês para povoar os nossos dados.

Nossa equipe já implementou essa função, a read_brazilian_file, na qual adotamos a estratégia de chamar o método original read, que implementamos no requisito 1, e depois traduzimos as chaves para o inglês. Agora precisamos criar testes para ter certeza que esta tudo certo!

O nome deste teste deve ser test_brazilian_jobs, e ele deve garantir que atenda as seguintes especificações:

  • Chamar a função read_brazilian_file e ela deve receber um parâmetro:
    • path que é uma string com o caminho do arquivo csv em português (tests/mocks/brazilians_jobs.csv);
    • Retorna uma lista de dicionários com as chaves em inglês
📝Exemplo O dicionário: {"titulo": "Maquinista", "salario": "2000", "tipo": "trainee"}
Deve ser traduzido para: <code>{"title": "Maquinista", "salary": "2000", "type": "trainee"}</code>
📌Como seu teste é avaliado O teste da Trybe irá avaliar se o seu teste está passando conforme seu objetivo e confirmará se ele está falhando em alguns casos que deve falhar. Para estes testes que esperemos que falhe, o requisito será considerado atendido quando a resposta do Pytest for XFAIL(Expected Fail) ao invés de PASS ou FAIL.
🤖 O que será verificado pelo avaliador
  • O teste rejeita implementações que não retornam as chaves traduzidas corretamente.
  • O teste aprova implementações corretas.
  • Se o teste não é um falso positivo, ou seja, teste que passa sem realmente testar o código.

12 - Implemente um teste para a função sort_by

Implemente em: tests/sorting/test_sorting.py

Por fim, espera-se que a pessoa usuária possa escolher um critério de ordenação para exibir os empregos. Já temos uma implementação para essa ordenação em src/sorting.py, mas queremos ter certeza de que ela funciona e, principalmente, que não deixará de funcionar conforme vamos implementando novos recursos. Precisamos então escrever um teste!

Esse teste deve se chamar test_sort_by_criteria e garantir que a função funciona segundo esta especificação:

  • A função sort_by recebe dois parâmetros:
    • jobs uma lista de dicionários com os detalhes de cada emprego;
    • criteria uma string com uma chave para ser usada como critério de ordenação.
  • O parâmetro criteria deve ter um destes valores: min_salary, max_salary, date_posted
  • A ordenação para min_salary deve ser crescente, mas para max_salary ou date_posted devem ser decrescentes.
  • Os empregos que não apresentarem um valor válido no campo escolhido para ordenação devem aparecer no final da lista.
📌Como seu teste é avaliado O teste da Trybe irá avaliar se o seu teste está passando conforme seu objetivo e confirmará se ele está falhando em alguns casos que deve falhar. Para estes testes que esperemos que falhe, o requisito será considerado atendido quando a resposta do Pytest for XFAIL(Expected Fail) ao invés de PASS ou FAIL.
🤖 O que será verificado pelo avaliador
  • O teste rejeita implementações que não ordenam corretamente.
  • O teste rejeita implementações que não ordenam em ordem crescente quando o critério é min_salary.
  • O teste aprova implementações corretas.
  • Se o teste não é um falso positivo, ou seja, teste que passa sem realmente testar o código.


Requisitos Bônus

13 - (Bônus) Implemente a página de um job

Implemente em: src/routes_and_views.py

Para fechar com chave de ouro, que tal testar o quanto você consegue aprender de Flask apenas vendo como fizemos as páginas de index e de jobs, e tentar criar uma página que irá exibir todas as informações de um job em específico?

  • A função deve ser decorada com a rota /job/<index>.
  • A função deve receber um parâmetro index.
  • A função deve chamar a read para ter uma lista com todos os jobs.
  • A função deve chamar a get_job, declarada no arquivo src/more_insights.py, para selecionar um job específico pelo index.
  • A função deve renderizar o template job.jinja2, passando um parâmetro job contendo o job retornado pela get_job.
✍️ Teste manual Após criar a view, cheque se, na página que lista os jobs, aparecem links para jobs específicos nos números que identificam cada job. Ao clicar em um destes links, você deve ser levado a uma página que lista todas as informações do job.
🤖 O que será verificado pelo avaliador
  • A rota /job/<index> existe.
  • A view job existe no arquivo src/routes_and_views.py e recebe o parâmetro index (e somente ele).
  • A página de cada um dos jobs deve retornar o status code 200.
  • A página de um job específico (escolhido previamente) deve retornar o HTML exato esperado.

python-jobs's People

Contributors

patriciapadilha avatar trybe-tech-ops avatar

Watchers

Kostas Georgiou avatar  avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.