ontoportal-lirmm / ncbo_annotator Goto Github PK

Pour la phrase: "Il a de l'arthrose. Il a de l’arthrose"

UNe seule annotation remonte avec MSHFRE...

http://services.bioportal.lirmm.fr/annotator/?text=Il%20a%20de%20l%27arthrose.%20Il%20a%20de%20l%E2%80%99arthrose.&ontologies=MSHFRE&longest_only=false&exclude_numbers=false&whole_word_only=true&exclude_synonyms=false&expand_mappings=false&display_links=false&display_context=false&apikey=c34b7653-0639-4946-81af-8ac76fe809dd

@twktheainur toi qui est un champion pour les encodages... tu vois d'ou cela peut venir ;)

Cette tache consiste a traiter le dictionnaire Mgrep pour ajouter des termes qui ont plus de chance de matcher dans l'Annotator.

Pour une ligne comme celle-la:
5083756382759859076 ÉVéNEMENTS EMBOLIQUES ET THROMBOTIQUES (SMQ)
L'idéal, pour vraiment augmenter le recall de l'Annotator serait d'avoir comme résultats:
5083756382759859076 ÉVÉNEMENT EMBOLIQUE ET THROMBOTIQUE SMQ
5083756382759859076 ÉVÉNEMENT EMBOLIQUE
5083756382759859076 ÉVÉNEMENT THROMBOTIQUE
5083756382759859076 SMQ
Qu'en pensez vous ?
(j'ai oublié si MGREP accepte plusieurs entrée avec le même termid d'ailleurs ?)

Autre example:
INCISION ET DRAINAGE D'HéMATOME DU BASSIN
=>
INCISION ET DRAINAGE D HÉMATOME DU BASSIN
INCISION D HÉMATOME DU BASSIN
DRAINAGE D HÉMATOME DU BASSIN

"aucun signe d'autoagressivité"
ne marche pas
aucun signe de autoagressivité
marche

TRy to annotate
PFGE (test de réparation)
which is the pref label of
http://bioportal.lirmm.fr/ontologies/ONTOTOXNUC/?p=classes&conceptid=http%3A%2F%2Fwww.cea.fr%2Fontotoxnuc%23PFGETtestDeReparation
No annotation.

This result in the mission annotation with "chimio"
http://data.bioportal.lirmm.fr/ontologies/MUEVO/classes/http%3A%2F%2Fpurl.lirmm.fr%2Fontology%2FMuEVo%2Fvpm22

when annotating
"j'ai mal à la tête et ma chimio me fait souffrir"

Because there is an option to exclude synonyms, I would recommend to include them, no? @twktheainur @amineabdaoui
What do you think also @mdorf ?

Essayer le mot préexisatnt
Même avec le bon parametrage avec whole word, le mot pré (dans Mesh) matche.
A regarder de plus près.

Essayer "Carence affective" dans le SIFR Annotator et expandre.

(transfer from sifrproject/bioportal_web_ui#15)

Spaces and newlines in the annotator text field before the actual text cause the annotation offsets shown in the results to be shifted by the number of spaces and newlines.

I managed to reproduce the problem on stageportal.lirmm.fr, bioportal.lirmm.fr and upstream on bioportal.bioontology.org.

This task consists in using TreeTager to normalize the text being sent to the Annotator and therefore also use it to normalize the content of the dictionary.
This task is divided into 3 specific issues:

• modify the current annotator dictionary creation workflow; ontoportal-lirmm/ncbo_cron#1
• modify the current annotator workflow to handle the new parameter (&normalize_text=true) cf #5
• modify the "annotators" project to implement the preprocessing of the text; cf ontoportal-lirmm/annotators#17

This is followed by @amineabdaoui

I have explicitly added to an ontology in OWL some cui, tui and haSTY properties to see if the Annotator will then after consider them… and it does not work.

For instance:
http://stageportal.lirmm.fr/ontologies/MEDLINEPLUS/?p=classes&conceptid=http%3A%2F%2Fchu-rouen.fr%2Fcismef%2FMedlinePlus%239&jump_to_nav=true
has been enriched with
<umls:cui xml:datatype="string">C0150933</umls:cui>
<umls:tui xml:datatype="string">T023</umls:tui>
<umls:hasSTY rdf:resource="http://purl.lirmm.fr/ontology/STY/T023"/>

In the OWL file. This (modulo the syntax) exactly how the UMLS2RDF tool represent the semantic type information.

And we can see that the information is parsed:
http://data.stageportal.lirmm.fr/ontologies/MEDLINEPLUS/classes/http%3A%2F%2Fchu-rouen.fr%2Fcismef%2FMedlinePlus%239?display=all

But the Annotator does not got it:
http://services.stageportal.lirmm.fr/annotator?text=yeux et vision&ontologies=MEDLINEPLUS&longest_only=false&exclude_numbers=false&whole_word_only=true&exclude_synonyms=false&expand_mappings=false&semantic_types=T023

Where is the bug ?

Orignal request

Overview

The annotator use a Lemmatizer to generate lemmatized dictionnary file

We have reconciled multilingual mappings between the french ontologies on the SIFR BioPortal and their english counterparts on the NCBO BioPortal;
http://www.lirmm.fr/~jonquet/publications/documents/Article_WIMS2016_Reconciliation_Annane.pdf
and
https://github.com/sifrproject/multilingual_mappings

This ticket concerns the implementation of the feature that will enable to use those interportal mappings to annotate the original french text with ontology concepts from the NCBO BioPortal ontologies.

This means a new parameter expand_interportal_mappings={true|false} (and a small change in the UI to use it)

This is a subtask of #4
This task consists in changing the current SIFR Annotator code to enable to use, when &normalize_text=true, another dictionary created explicitly (and itself normalized)

version to merge: https://github.com/ncbo/ncbo_annotator/releases/tag/v5.22.3
changes: Update Gemfile.lock

Annoter :
"adefovir, acétate de somatostatine hydraté"
avec ancestors=1
Le concept "Pharmaceutical Ingredient" obtenu en parent devrait avoir le score 18 et pas 9.
Il y a pas de somme des scores des annotations avec le même concept.

Example on AgroPortal:
http://data.agroportal.lirmm.fr/ontologies/BIOREFINERY/classes/http%3A%2F%2Fopendata.inra.fr%2Fresources%2Fcore%23Singular_Unit/instances

pascal, meter, degree are not identified by the Annotator.

http://services.agroportal.lirmm.fr/annotator/?text=pascal,%20meter,%20degree&ontologies=BIOREFINERY&longest_only=false&exclude_numbers=false&whole_word_only=true&exclude_synonyms=false&expand_mappings=false&negation=false&temporality=false&lemmatize=false&display_links=false&display_context=false&apikey=1de0a270-29c5-4dda-b043-7c3580628cd5

In FRNORM:
"anisum stellatum " is defined

"anisum stellatum ," matches in the Annotator
but "anisum stellatum " doesn't because the trailing space is stripped before the text is sent to mgrep.

e.g.,
http://services.agroportal.lirmm.fr/annotator/?text=protozoa&ontologies=ANAEETHES&longest_only=false&exclude_numbers=false&whole_word_only=true&exclude_synonyms=false&expand_mappings=false&negation=false&temporality=false&lemmatize=false&expand_class_hierarchy=true&class_hierarchy_max_level=3&display_links=false&display_context=false

We need to be sure this semantic expansion of annotation following the hierarchy is also available for SKOS.

Cela consiste a utiliser les mappings "interportal", voir:
http://www.lirmm.fr/~jonquet/publications/documents/Article_WIMS2016_Reconciliation_Annane.pdf
et
https://github.com/agroportal/documentation/wiki/Mappings

Pour faire l'expansion d'annotations directes avec l'Annotator.
L'idée est donc que l'on puisse annoter du texte en francais avec des ontologies dans le NCBO BioPortal:

1. soit les traductions des ontologies du SIFR BioPortal (1er niveau d'expansion)
2. soit des ontologies alignées aux ontologies qui sont la traduction

Le cas 1 ne devrait pas être trop difficile car cela consiste juste a s'assurer que les mappings interportal sont utilisés lors de l'expansion sémantique avec des mappings (&expand_mappings=true) et a run time faire une jointure avec le NCBO BioPortal pour obtenir les informations (JSON) sur le concept mappé.

Le case 2 est un peu plus difficile, car cela consiste a faire 2 expansions consécutives. Celle du cas 1, puis pour chaque URI (concept) mappé dans le NCBO BioPortal, il faut récuperer tous ces mappings dans le NCBO BioPortal et générer alors de nouvelles annotations avec les nouvelles URI obtenues.

Pour obtenir les mappings pour une URI donné, il faut alors utilise le web service
http://data.bioontology.org/documentation#Mapping

Par exemple:

Le texte "mélanome" est donné a l'Annotator avec comme ontologies cibles SIFR:
&ontologies=MSHFRE,MDRFRE

http://services.bioportal.lirmm.fr/annotator?text=mélanome&ontologies=MDRFRE,MSHFRE&longest_only=false&exclude_numbers=false&whole_word_only=true&exclude_synonyms=false&expand_mappings=true

Il s'agit de rajouter un parametre (puis une UI):
&ncbo_ontologies=NCIT,DOID
alors, les annotations obtenues dans MSHFRE et MDRFRE e.g.,
http://purl.lirmm.fr/ontology/MSHFRE/D008545
serait expansé avec les interportal mappings vers
http://purl.bioontology.org/ontology/MESH/D008545
qui serait expansé avec les mappings vers par exemple
http://purl.obolibrary.org/obo/DOID_1909

Pour optimiser, il s'agira de ne traiter que les mappings dans les NCBO ontologies cibles... (e.g. le terme melanoma das mesh a 57 mappings!)

Pour obtenir les mappings de http://purl.bioontology.org/ontology/MESH/D008545 il faut appeller:
http://data.bioontology.org/ontologies/MESH/classes/http%3A%2F%2Fpurl.bioontology.org%2Fontology%2FMESH%2FD008545/mappings

http://services.bioportal.lirmm.fr/annotator?text=cancer&ontologies=MUEVO&longest_only=false&exclude_numbers=false&whole_word_only=true&exclude_synonyms=false&expand_mappings=true

generates 3 annotations in Muevo.
/search does not.

It seems that the dictionary has not been cleaned from previous version of MUEVO.

Annoter "mélanome" avec MSHFRE incluant la hiearchie.
Toutes les annotations remontent sauf une: Tumeurs neuroectodermiques
Qui est pourtant bien dans l

Just activate mapping expansion in the UI and it generates an error.

Se produit aussi sur l'AgroPortal Annotator

It seems we have a problem (see #17) with some missing terms in the Mgrep dictionary.
e.g. KETUM
http://2016/4/FRNORM#BrandNameb6e3330cf2f7f5a14ee84771c328714f440fd6d4

After investigation with @twktheainur on the redis cache it seems the corresponding key is in redis.
Both in direct and in the hash c1:dict

redis-cli -p 6379 --raw hgetall "c1:term:-1332201858416265303"
redis-cli -p 6379 --raw hget "c1:dict" "c1:term:-1332201858416265303"

But for some reason it is not in the mgrep dictionnary file.

Annoter
KERLONE, KETUM, et acétate de potassium, anisum stellatum , sulésomab pirétanide et anisum stellatum
avec FRNORM

Aucun match tandis que les 3 termes sont des sous classe de Pharmaceutical ingredient.

D'autres termes matchent e.g., ACéTATE DE SOMATOSTATINE HYDRATé