Le parti-pris est d'utiliser les données de compteur de vélo

Graphiques traditionnels:

• matplotlib
• seaborn
• plotly

Cartographie:

• geoplot
• contextily

Quel package pour la carto dynamique ?

Ressources

https://r4ds.had.co.nz/data-visualisation.html#introduction-1
http://vita.had.co.nz/papers/layered-grammar.pdf
https://jakevdp.github.io/PythonDataScienceHandbook/04.00-introduction-to-matplotlib.html
https://linogaliana.gitlab.io/documentationR/faire-des-graphiques-avec-ggplot2.html

Idée: partir de ce post

L'idée est de proposer un exemple de pipeline CI (via travis?) pour tester des notebooks

Essai de lister les pros/cons des différentes sources de données

openfoodfacts

Données ici

openfood = pd.read_csv("C:/Users/W3CRK9/Downloads/en.openfoodfacts.org.products.csv",
                       nrows = 1000, sep = "\t")
openfood.head()

velib

Données ici: pour la partie API ?

Données ici pour la partie carto ?

Réseau cyclable

Données du réseau cyclable

Données ademe

Il y a ces données qui ont une structure pas mal (url datagouv et site ademe)

url de requête: https://data.ademe.fr/datasets/igt-pouvoir-de-rechauffement-global

Compteurs de vélo

https://opendata.paris.fr/explore/dataset/comptage-velo-donnees-compteurs/map/?disjunctive.id_compteur&disjunctive.nom_compteur&disjunctive.id&disjunctive.name&basemap=jawg.dark&location=14,48.85493,2.35223
Exemple d'exo: refaire ça

Tous les warnings et messages gênent la lecture du site web

C'est le seul gros champ de scikit où rien n'est présent dans le site.

A faire pour une version ultérieure du site

Quelques remarques des élèves:

• parfois des temps morts en classe: trouver une manière d'éviter d'être bloqué (cf. #137)
• proposer des exercices complémentaires pour s'entraîner
• passer moins de temps sur les parties 1 et 2 pour passer plus de temps sur les parties 3 et 4

issue consacrée au dernier tuto (NLP)

Librairies

NLTK
SpaCy
Gensim

Sources :

https://www.stat4decision.com/fr/traitement-langage-naturel-francais-tal-nlp/

Partie analyse de sentiments:
https://larevueia.fr/nlp-avec-python-analyse-de-sentiments-sur-twitter/

Remplacer blob/pandas_intro par raw/master

📁 manipulation

La coquille est à corriger dans :

• .Rmd
• .md
• .ipynb

Faire un onglet permettant d'accéder plus rapidement aux TPs

Chantier prioritaire: licence. Creative commons ?

Problème quand on utilise contextily avec Rmarkdown

Ce problème n'apparaît pas avec jupyter

ça serait sympa d'avoir des recherches par tag possibles pour les exercices et exemples

When generating notebooks, two types of blocks should be filtered:

• R cells
• Python configuration cells, e.g.

import os
...

Voici un plan un peu enrichi pour la future version 2 du cours

Manipulation

1. Numpy puis Pandas
2. Geopandas
3. Données plus volumineuses: postgre, dask, spark
4. Import de données à la structure plus complexe : webscraping, API

Visualisation et communication

C'est la partie qui mérite le plus d'enrichissement

1. Matplotlib et seaborn
2. Cartographie
3. Sites web : Django etc.
4. Jupyterbook et R Markdown

modélisation

• Ajouter un peu de deep learning à la partie déjà faite
• Evoquer fasttext

Les données sont déposées sous pour faciliter le travail mais ce n'est pas indiqué. C'est à corriger

Il va falloir songer à préparer une image docker car il va y avoir beaucoup de dépendances dans ce cours

Référencer le cours (site web et github) devrait faciliter l'accès à l'url

Shell script fails in pipeline. Trying this solution

cat generated-bash-script | /bin/bash

Créer une page pour lister les projets des élèves sur le site web

Suite à #68 , le problème des marges est assez gênant. Il faut trouver un moyen de les réduire

Plusieurs modifs à envisager:

• Mieux expliquer la structure du cours et du dépôt
• Mieux expliquer la manière dont on peut contribuer

Ca fait toujours un test de reproductibilité en plus

Trouver une méthode pour le display des notebooks jupyter, notamment avec Rmd.

cf. ce débat ?

Il manque l'onglet de la partie NLP sur la page d'accueil

Problème de chemin pour

• l'image du join
• La cheatsheet sur reshape

Quelques formules math passent mal:

• ici
• là

En local, la compilation en .md me permet de voir l'output des chunks utilisant matplotlib. Mais sur le site construit par hugo, via netlify, ce n'est pas le cas. C'est parce que Rmarkdown stocke les figures dans un dossier _files que je ne git pas.

Comment gérer cette affaire ?

Les TP 4 ont été intégrés de manière un peu sauvage. Il faut les mettre en forme un peu

La partie Git est un peu longue, il faudrait revoir la mise en forme

La regex ls fonctionne pas bien, à mettre à jour

La nouvelle arborescence du contenu (#52) a mis à jour les url cassant les cross references.

Une partie spécifique à git avec l'explication du principe et les commandes de base à faire

Le plus naturel est de le mettre dans un onglet à part

Cas classique: comment installer un package derrière un proxy

• pip: pip install --proxy
• conda: modifier le .condarc avec proxy_servers

Pas de problème avec contextily sur jupyter mais des difficultés avec R Markdown

Il faut préparer un tutoriel minimal SQL: select, join, etc.

L'arborescence du site est un peu chaotique, faut voir comment la simplifier

Il faut parler des dépendances des librairies géospatiales. Notamment:

• geopandas: conda install ou pip install
• rtree
• descartes
• contextily

Idée: reproduire ces visualisations pour les graphiques

et quelques cartes fixes et dynamiques

Ce n'est plus spyrales.sspcloud mais datalab.sspcloud

Include the license block in the footer

Probably needs to modify hugo theme

💡 Tester, avec un script python, les liens donnés pour vérifier qu'ils ne soient pas morts (erreur 404). Utiliser de beautiful soup possible.

Pas prioritaire car compliqué à mettre en place:

1. screen tous les .md pour extraire les liens (structure ![]())
2. check que la page propose un contenu (d'abord data (ex: csv), ensuite html)

Les box du thème techdoc ne sont pas très belles. Il faudrait les faire ressembler plutôt aux box des jupyterbook, plus esthétiques

Il va falloir filtrer les headers YAML lors de la conversion en notebook jupyter

#58 a permis de créer des box très esthétiques pour le site web, à la manière de jupyterbook. Il faudrait pouvoir utiliser les mêmes éléments css dans les .ipynb

Après le premier SVM et les premières régression (linéaire, logistique)

I - Suite Machine Learning standard:

1. Réduction dimension
   • ACP
   • Lasso
2. Clustering
   • kmeans

II - NLP

III - Intro au deep learning

OLD

Les plans qu'on peut trouver sur internet

Des jeux de données intéressants:
https://medium.com/towards-artificial-intelligence/best-datasets-for-machine-learning-data-science-computer-vision-nlp-ai-c9541058cf4f
https://elitedatascience.com/datasets
Prédiction: https://medium.com/@nicholasutikal/predict-football-results-with-random-forest-c3e6f6e2ee58

Cours Andrew Ng

https://www.coursera.org/learn/machine-learning

Cours edX by IBM

https://www.edx.org/course/machine-learning-with-python-a-practical-introduct

Module 1 - Introduction to Machine Learning
Applications of Machine Learning
Supervised vs Unsupervised Learning
Python libraries suitable for Machine Learning

Module 2 - Regression
Linear Regression
Non-linear Regression
Model evaluation methods

Module 3 - Classification
K-Nearest Neighbour
Decision Trees
Logistic Regression
Support Vector Machines
Model Evaluation

Module 4 - Unsupervised Learning
K-Means Clustering
Hierarchical Clustering
Density-Based Clustering

Module 5 - Recommender Systems
Content-based recommender systems
Collaborative Filtering

Livre Machine Learning avec Python

Dépôt Github: https://github.com/amueller/introduction_to_ml_with_python

Découverte de git via le principe du cadavre excquis, cf. https://linogaliana.gitlab.io/collaboratif/git.html

Liens à corriger 🙈