Etapes à réaliser:

• Vérifier que l'on peut bien virer les fichier *_old et le faire
• Rechercher l'origine de la présence de `>>>>̀ dans certains labels comme ici. Le problème est soit dans le fichier excel de départ soit dans le générateur.

Check, complete and/or remove if needed the stata code in the following files:

• step_0_3_homogeneisation_caracteristiques_menages

in consommation.parts_budgetaires

Faire une table des agrégats par poste alimentaire en utilisant ce qui est fait pour #125 et la base de données ALISS après l'avoir importée avec build_collection.

Asset preload for:

• catégorie fiscales
• poste coicop

@thomasdouenne: Could you explore if it is easy to automatically generate the parameter we use that are mentionned in this file ?
Talk to @SophieIPP and @antoinearnoud for using the data from CN
Try to list the sources of all the parameters we do use in the computation.

Somme of these appeared after upgrading to pandas 0.17

https://www.service-public.fr/professionnels-entreprises/vosdroits/F31596

Put the xls matrice de passage files in the directory assets and modify code accordingly

Cette variable est nécessaire pour ventiler les élasticités de la demande par type de ménage.
Elle semble présente dans les données préparées mais pas chargée par le modèle.
Les étapes à suivre sont les suivantes:

• il faut vérifier qu'elles sont bien présentes pour toutes les années avec les mêmes modalités (écrire un test ou un assert)
• créer la variable dans le modèle en lui trouvant un nom long adéquat.

When building survey_scenario, all variables in the dataframe become of type float32. Because ident_men is very large for 2000 (10^7) and 2005 (10^10) it modifies its true values. Consequently, it also creates some duplicates.
We would like to have dataframes where ident_men is of type int64 or object.

This is a test

• Rename example directory to examples
• Remove the example in example_* sub-directries or files (we know that they are examplessince they are in the examples directory)

• depenses_ht_tva_* are buggy for refoms
• correct merge of categorie_fiscale in aliss reforms (needs a nice resuffle of start and stop dates)
• rebuild poste_agrege_* for reforms (OK but tests needed)
• Rethink data structure for categories_fiscales data

Reformat docstring for the function in this module

Rajouter les données dom 2005 et ne pas éliminer les données dom 2011

Etapes à réaliser dans l'ordre:

• lister les différentes catégories et leurs périodes d'existence,
• corriger les noms de catégories fiscales,
• corriger le nom des taxes payées

Etapes à réaliser pour améliorer l'existant:

• faire l'import des données comptabilité nationale utilisée notamment ici en utilisant les routines ipp-macro-series-parser,
• préparer les données sous un format adapté pour être stockée dans le répertoire assets en écrivant un petit script comme ceux-ci,
• utiliser les outils de calibration standard (demander à @benjello).

Vérifier les catégories de chocolat taxés au taux plein de TVA.
Voir avec Mathias si les deux postes coicop '01.1.8.2.1' et '01.1.8.2.2' sont concernés.

C'est à dire sans sep = ';'.
Le but est qu'il soit visibles dans github.
Il est également possible de virer ceux qui ne servent plus ...

Like in here

Rename variables (attention il y a des variables qui reproduisent des variables d'entrée:

• ocde10 to uc (check name in openfisca-france)
• rev_disponible to revenu_disponible
• rev_disp_loyerimput
• revtot
• revtotuc
• decuc
• total_assurances_taxe to assurances_taxe_total
• pourcentage_vehicule_essence: vehicule_essence_part
• veh_* to vehicule_*

Rename modules

• taxes_indirectes.ticpe to taxes_indirectes.carburants (ou équivalent plus approprié)

• [https://github.com/openfisca/openfisca-france-indirect-taxation/tree/master/openfisca_france_indirect_taxation/examples/utils_example.py]
• [https://github.com/openfisca/openfisca-france-indirect-taxation/tree/master/openfisca_france_indirect_taxation/surveys.py]
• [https://github.com/openfisca/openfisca-france-indirect-taxation/tree/master/openfisca_france_indirect_taxation/tests/test_simulation.py]

Only the second one should be kept.

Sont-ils inclus ou exclus du champ d'observation?

Etapes à discuter avec @thomasdouenne:

• Identifier et documenter les variables intermédiaires à calculer (part budgétaire, revenus)
• Articuler avec les prix
• Articuler avec les élasticités
• Réaliser un petit modèle fictif et le tester
• Généraliser au modèle "carburants"
• Généraliser au modèle "alimentation"
• Gérer les élasticités données avec intervalle de confiance

Elle devra comprendre les consommations agrégées au niveau pertienent le plus fin possible (réglable) ainsi
que les montants des taxes agrégées (voire des bases si une comparaison avec des données existantes est possible. Il faut donc:

• recueillir les informations disponibles dans la CN
• recueillir les informations disponibles d'origine fiscale
• adapter les agrégats utilisés pour openfisca-france-data

@MarionIPP @SophieIPP
Je recense ici les problème des données ALISS
Les nomk suivant n'ont pas de nomf:

• 11933 : Levure, preparation pour dessert ,ingrédients culinaires
• 11942 : Substitut De Repas et Autres Surgele

Travis build fails
because it needs newer pandas version.
@cbenz: could'nt we use something like this ?

It is a bit messy:

• create subdirectories
• convert documentation file Doc on assets.docx to Markdown (avoid docx files on shared repos)

Execution of test_carburants_builder.py produces:

ERROR: Failure: NoOptionError (No option 'openfisca_indirect_taxation' in section: 'collections')
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/usr/lib/python2.7/dist-packages/nose/loader.py", line 420, in loadTestsFromName
    addr.filename, addr.module)
  File "/usr/lib/python2.7/dist-packages/nose/importer.py", line 47, in importFromPath
    return self.importFromDir(dir_path, fqname)
  File "/usr/lib/python2.7/dist-packages/nose/importer.py", line 94, in importFromDir
    mod = load_module(part_fqname, fh, filename, desc)
  File "/home/cbenz/Dev/openfisca/openfisca-france-indirect-taxation/openfisca_france_indirect_taxation/tests/test_carburants_builder.py", line 16, in <module>
    aggregates_data_frame = get_input_data_frame(year)
  File "/home/cbenz/Dev/openfisca/openfisca-france-indirect-taxation/openfisca_france_indirect_taxation/example/utils_example.py", line 29, in get_input_data_frame
    collection = "openfisca_indirect_taxation", config_files_directory = config_files_directory)
  File "/home/cbenz/Dev/openfisca/openfisca-survey-manager/openfisca_survey_manager/survey_collections.py", line 120, in load
    json_file_path = config.get("collections", collection)
  File "/usr/lib/python2.7/ConfigParser.py", line 618, in get
    raise NoOptionError(option, section)
NoOptionError: No option 'openfisca_indirect_taxation' in section: 'collections'

Par exemple le taux de TVA pour le poste coicop 952 n'est pas cohérent entre le document paramètres_fiscalité_indirecte et Matrice_passage_2011.

La documentation doit comprendre:

• la description du traitement des données brutes
• la construction des bases pour les simulations
• la construction des fichiers matrice de passage et paramètres fiscalité (#107 et passage xls -> csv)
• l'importation des données de calages (comptes transport)

Move openfisca_france_indirect_taxation/model/get_dataframe_from_legislation out of model directory.
Should create a helpers or utils directory to put such type of code.

Voir si on ne peut rien tirer de le rapport de la cour des comptes mentionné dans le monde en terme de cales.

Il s'agit de vérifier que les postes définis dans ce fichier dont la liste est construite par ce petit script python sont bien présents dans la base produite par build_survey.

• Ecrire un test qui s'en assure
• Si le test échoue, récupérer ces informations lors de la construction de la base d'input

Faire cela en même temps que #113 et une partie de #85

Convert the following tests to the this model :

• test_age
• test_categorie_fiscale
• test_tva

Dans le dossier exemples, convertir les exemples .py en notebook. Certains exemples peuvent être groupés dans le même notebook (car font des choses similaires, mais sur différentes périodes par exemple).

add a link from Readme or add a separate section in README.md

Fix and/or test https://github.com/openfisca/openfisca-france-indirect-taxation/blob/master/openfisca_france_indirect_taxation/build_survey_data/step_0_1_2_imputations_loyers_proprietaires.py#L111

We need to finalize automatic legislative parameters generation.
Following steps needed to be completed:

• add carburants price tables to https://git.framasoft.org/french-tax-and-benefit-tables/ipp-tax-and-benefit-tables-xlsx
• check that the parameters generation from all relevant xlsx tables are ok
• see with @eraviart if we can extend the data-brewer to generate automatically a PR to this repo
• remove obsolete files in assets, param/preprocessing, /scripts/build_prix_carburants.py etc

Des infos sourcées indiquent qu'elle a bien été votée.
Elle n'est pas simulée.

Vérifier que la nomenclature COICOP est bien suivie.
Notamment sucre/confiserie voir par exemple ici

And convert the to notebooks and group what needs to grouped.

Check and remove if needed step_03_* and step_04_*

Breaks travis integration

@thomasdouenne punition pour ne pas l'avoir fait plus tôt ;-)