Technologies de la Langue

Imprimer cet article

  2 novembre 2005

Cette journée, consacrée à la question de l’évaluation de technologies, avait pour objectif de permettre aux différentes communautés scientifiques et industrielles intéressées d’échanger et de débattre à propos de la mise en place de protocoles, de métriques, de référentiels utilisés dans les différentes campagnes d’évaluation.

L’action Techno-Langue, dont la première phase s’achèvera en décembre 2005, comporte un volet consacré à l’évaluation (plateforme Evalda) qui a permis le financement de sept campagnes d’évaluation dans les domaines des technologies de la langue écrite et orale (recherche d’informations, traduction, reconnaissance et synthèse vocales...).

L’action Techno-Vision qui a débuté début 2005 est quant à elle consacrée à l’évaluation des technologies de traitement de l’image ; dans ce cadre, dix projets ont été retenus qui visent à mettre en place des méthodologies et des campagnes d’évaluation concernant notamment les technologies d’indexation et de recherche d’images, d’identification, de suivi, ou d’analyse de documents.

Compte-tenu de la nécessité croissante de disposer d’outils d’évaluation dans les domaines du traitement de la langue et de l’image d’une part et de l’opportunité que représente la coïncidence entre la fin de l’action Techno-Langue et le début de l’action Techno-Vision d’autre part, il a été jugé pertinent d’organiser une rencontre entre les deux communautés afin de permettre un échange d’expériences et de « bonnes pratiques ».

La journée s’est organisée autour des thèmes suivants :

  l’organisation pratique des campagnes d’évaluation,
  la création des corpus, des référentiels, des protocoles et des métriques,
  les logiciels de mesure des performances,
  le problème de la propriété intellectuelle concernant les corpus,
  la diffusion des résultats,
  l’utilisation des résultats et des ressources induites (données et outils) au-delà de la durée des campagnes,
  la relation à l’Europe et à l’international.

Introduction

9h30

« L’importance de l’évaluation pour la recherche technologique », Joseph Mariani, Directeur du département « Technologies de l’information et de la communication », Ministère délégué à la Recherche.

  télécharger la version détaillée (format ppt, 15 diapos, 169 Ko)

Session « Technolangue »

Président de session : Stéphane Chaudiron, Ministère délégué à la Recherche

9h45

« L’apport des campagnes Evalda à l’évaluation de technologies », Khalid Choukri, ELDA.

  télécharger la version détaillée (format ppt, 40 diapos, 296 Ko)

10h15

« EASY : une campagne d’évaluation des analyseurs syntaxiques », Patrick Paroubek, LIMSI/CNRS

  télécharger la version détaillée (format ppt, 20 diapos, 239 Ko)

10h50 - Pause

11h05

« ESTER : une campagne d’évaluation pour les systèmes de transcription », Guillaume Gravier, AFCP (Association française de la communication parlée)

  télécharger la version détaillée (format pdf, 104 Ko)

11h40

« EQUER : une campagne d’évaluation des systèmes de question/réponse », Brigitte Grau, LIMSI/CNRS.

  télécharger la version détaillée (format ppt, 24 diapos, 104 Ko)

12h15 - Déjeuner

Session « Techno-Vision »

Président de séance : Jacques Blanc-Talon, Délégation Générale pour l’Armement

14h00

« Techno-Vision : un programme pour l’évaluation des technologies de traitement de l’image », Philippe Bolon, Président du Comité de pilotage Techno-Vision.

  télécharger la version détaillée (format pdf, 12 diapos, 269 Ko)

14h30

« ETISEO : l’évaluation dans le domaine de la vidéosurveillance », David Cher, Silogic.

  télécharger la version détaillée (format ppt, 18 diapos, 2104 Ko)

15h05

« Evalechocard : Evaluation de méthodes d’imagerie médicale », Frédérique Frouin, INSERM.

  télécharger la version détaillée (format ppt, 23 diapos, 877 Ko)

15h40 - Pause

15h55

Table ronde « Bilan et perspectives des campagnes d’évaluation »

  Modérateur : Stéphane Chaudiron, Ministère délégué à la Recherche
  Philippe Bolon, Président du Comité de pilotage de Techno-Vision
  Khalid Choukri, ELDA
  Christian Fluhr, Président du Comité de pilotage de Techno-Langue
  Edouard Geoffrois, DGA/CTA,
  Joseph Mariani, Ministère délégué à la Recherche.

17h00

Fin de la journée

Toutes les informations relatives à ASTI’2005 sont disponible sur le site de la conférence.