Indexation Multimédia (SICOM-SIGMA S9) - 5PMSIMM0

Objectif(s)

Deux types d’objectifs seront poursuivis.

Indexation multimédia :
Comprendre les principes de la recherche d'information multimédia : les enjeux économiques, l'état actuel de la technologie (partie signal et partie sémantique, fusion de données, apprentissage statistique) et les challenges scientifiques pour le futur.

Interactions multisensorielles :
Comprendre l’état de l’art des systèmes temps réels d’interaction multisensorielle (geste, dont interaction haptique à retour d’effort, son, retours visuels)

Contenu(s)

Indexation multimédia :

• Cours d’introduction: problèmes, applications, information retrieval, niveau signal et niveau sémantique,
• Séances en format « conférence » par des spécialistes du domaine, en Music Information Retrieval et en indexation de paramètres de synthèse sonore

Interactions multisensorielles :

• Cours d’introduction: signaux d’interaction sensoriel : gestuels (en particulier dans le cas sensible des interactions à retour d’effort) sonores et visuels ; transduction ; contraintes temps réel en fonction de l’interaction visée ; exemples de mises en œuvre.
• TP sur stations multisensorielles, sur les plateformes CIME, VISION-R et Art-Science-Technologie. Réalisation d’interactions multisensorielles temps réel à retour d’effort, par simulation physique. Analyses des technologies matérielles, logicielles et de simulation de chaque station (reverse engineering). Analyse des domaines d’usages et des enjeux scientifiques et technologiques.

Connaissances de base en traitement du signal, en analyse des données (image, son).
Connaissances de base en transduction, traitement du signal temps réel, système d’exploitation, programmation concurrente en C.