• Objectif
• Compétences
• Technologies
• Requirements
• Architecture
• Configuration locale

Books Online est une importante librairie en ligne spécialisée dans les livres d'occasion. À l'origine, Books Online essayait de suivre manuellement les prix des livres d'occasion sur les sites web de ses concurrents, mais cela représentait trop de travail : il y a trop de livres et trop de librairies en ligne ! L'objectif de ce projet est d'automatiser cette tâche laborieuse via un programme (un scraper) développé en Python, capable d'extraire les informations tarifaires d'autres librairies en ligne.

• Gérer les données à l'aide du processus ETL
• Utiliser le contrôle de version avec Git et GitHub
• Appliquer les bases de la programmation en Python

• Python3
• Web Scrapping

• beautifulsoup4
• certifi
• charset-normalizer
• idna
• requests
• soupsieve
• urllib3

Project
├── scrapper.py : script principal
├── requirements.txt
│
├── donnees_resultat : répertoire contenant les résultats après lancement du script

Clonez le repository sur votre machine.

git clone https://github.com/GDSDC/OpenclassroomsProject-P2.git

Accédez au répertoire cloné.

cd OpenclassroomsProject-P2

Créez l'environnement virtuel env.

python3 -m venv env

Activez votre environnement virtuel env nouvellement créé.

source env/bin/activate

Installez les paquets présents dans la liste requirements.txt

pip install -r requirements.txt

Lancer simplement le script python scraper.py présent à la source du dossier de travail.

python scraper.py

Une fois le script exécuté, le résultat se trouve dans le dossier donnees_resultat/. Vous y trouverez les fichiers CSV correspondant aux informations de tous les livres de chaque catégorie de livre présente sur le site https://books.toscrape.com/index.html.