Books Online est une importante librairie en ligne spécialisée dans les livres d'occasion. À l'origine, Books Online essayait de suivre manuellement les prix des livres d'occasion sur les sites web de ses concurrents, mais cela représentait trop de travail : il y a trop de livres et trop de librairies en ligne ! L'objectif de ce projet est d'automatiser cette tâche laborieuse via un programme (un scraper) développé en Python, capable d'extraire les informations tarifaires d'autres librairies en ligne.
- Gérer les données à l'aide du processus ETL
- Utiliser le contrôle de version avec Git et GitHub
- Appliquer les bases de la programmation en Python
- beautifulsoup4
- certifi
- charset-normalizer
- idna
- requests
- soupsieve
- urllib3
Project
├── scrapper.py : script principal
├── requirements.txt
│
├── donnees_resultat : répertoire contenant les résultats après lancement du script
Clonez le repository sur votre machine.
git clone https://github.com/GDSDC/OpenclassroomsProject-P2.git
Accédez au répertoire cloné.
cd OpenclassroomsProject-P2
Créez l'environnement virtuel env.
python3 -m venv env
Activez votre environnement virtuel env nouvellement créé.
source env/bin/activate
Installez les paquets présents dans la liste requirements.txt
pip install -r requirements.txt
Lancer simplement le script python scraper.py présent à la source du dossier de travail.
python scraper.py
Une fois le script exécuté, le résultat se trouve dans le dossier donnees_resultat/
.
Vous y trouverez les fichiers CSV correspondant aux informations de tous les livres de chaque catégorie de livre
présente sur le site https://books.toscrape.com/index.html.