Chap 6

Télécharger au format pdf ou txt
Télécharger au format pdf ou txt
Vous êtes sur la page 1sur 10

Indexation et Recherche d’information

Multimédia
Évaluation des SRI

ISI-KEF
Université de Jandouba

farhatmahran@yahoo.fr

ISI-KEF Université de Jandouba Indexation et Recherche d’information Multimédia


Evalua/on  des  SRI  

•  Comparer  les  systèmes  de  manière  théorique  


(via  leur  modèle)  est  un  problème  non-­‐résolu,  
on  passe  donc  par  des  évalua/ons  empiriques  
en  testant  les  résultats  d’un  système  par  
rapport  aux  réponses  idéales  ajendues.  

17
Evalua/on  des  SRI  
•  Objec/f  de  la  RI  :  
–  Rapprocher  per/nence  système  et  u/lisateur    

Ensemble des Ensemble des


documents documents du
trouvés, corpus : C
pertinents pour
le système : R Ensemble des
documents
retrouvés et
Ensemble des convenant à
documents l’utilisateur,
convenant à pertinents pour le
l’utilisateur: P système et
l’utilisateur : P∩R
Evalua/on  des  SRI  
•  Les  critères  essen/els  sont  :  
–  Le  rappel  :  capacité  du  système  à  fournir  en  
réponse  tous  les  documents  per/nents  
–  La  précision  :  capacité  du  système  à  ne  fournir  que  
des  documents  per/nents  en  réponse.  

–  Ces  deux  critères  sont  antagonistes  dans  la  


réalité…  

19
Evalua/on  des  SRI  
•   Rappel  
Le  rappel  est  le  rapport  du  nombre  de  documents  
trouvés  par  le  système  et  convenant  à  l’u/lisateur  au  
nombre  total  de  documents  convenant  à  l’u/lisateur  

C  
R  
P∩R  
P  

20
Evalua/on  des  SRI  
•   Précision  
La  précision  est  le  rapport  du  nombre  de  documents  
trouvés  par  le  système  et  convenant  à  l’u/lisateur  au  
nombre  de  documents  retrouvés  par  le  système  

C  
R  
P∩R  
P  

21
Evalua/on  des  SRI  
•  Pour  une  requête  et  un  système  :  2  valeurs  
réelles  
–  Exemple  :  un  système  retourne  5  documents,  
parmi  lesquels  3  sont  per/nents,  sachant  qu’il  y  a  
10  documents  per/nents  dans  le  corpus  :  
•  Rappel  =  3  /  10  
•  Précision  =  3  /  5  
•  Il  faut  des  analyses  plus  fines  des  résultats  
–  Courbes  de  rappel/précision  
22
Evalua/on  des  SRI  
•  Courbes  de  rappel/précision    
–  Comparaison  de  2  systèmes  S1  et  S2    
Précision

1
S1

S2 - S1 est meilleur que S2 en précision et


en rappel

0 1
Rappel
23
Evalua/on  des  SRI  
•  Courbes  de  rappel/précision  
–  Représente  l’évolu/on  de  la  précision  et  du  rappel  
avec  des  résultats  triés  
–  Méthode  :  
•  Pour  chaque  document  retrouvé,  on  calcule  la  précision  
et  le  rappel  obtenus  en  considérant  seulement  le  
premier  document  comme  réponse,  puis  les  deux  
premiers,  puis  les  trois  premiers  etc.,  jusqu'à  la  réponse  
totale  du  système.  

24
ISI-KEF Université de Jandouba Indexation et Recherche d’information Multimédia

Vous aimerez peut-être aussi