5PMSMMM3 : Multimédia, Multimodalité, Multisensorialité Indexation Multimédia - WPMTMMM3

Objectif(s)

L'objectif est de dresser un panorama de sciences et technologies qui adressent la sensor-motricité humaine dans ses propriétés multisensorielles, y compris en recherche.

Indexation multimédia :
Comprendre les principes de la recherche d'information multimédia : les enjeux économiques, l'état actuel de la technologie (partie signal et partie sémantique, fusion de données, apprentissage statistique) et les challenges scientifiques pour le futur.

Interactions multisensorielles et multimodales :
Comprendre l’état de l’art des systèmes temps réels d’interaction multisensorielle (geste, dont interaction haptique à retour d’effort, son, retours visuels, réalités virtuelles)

Contenu(s)

Indexation multimédia :

• Cours d’introduction: problèmes, applications, information retrieval, niveau signal et niveau sémantique,
• Séances en format « conférence » par des spécialistes du domaine, en Music Information Retrieval et en indexation de paramètres de synthèse sonore

Interactions multisensorielles et multimodales :

• Cours d’introduction: signaux d’interaction sensoriel : gestuels (en particulier dans le cas sensible des interactions à retour d’effort) sonores et visuels ; transduction ; contraintes temps réel en fonction de l’interaction visée ; exemples de mises en œuvre.
• TP sur stations multisensorielles ou multimodales, sur les plateformes CIME, VISION-R et Art-Science-Technologie. Réalisation d’interactions multisensorielles temps réel à retour d’effort, par simulation physique. Analyses des technologies matérielles, logicielles et de simulation de chaque station (reverse engineering). Analyse des domaines d’usages et des enjeux scientifiques et technologiques.

Connaissances de base en traitement du signal, en analyse des données (image, son).
Connaissances de base en transduction, traitement du signal temps réel, système d’exploitation, programmation concurrente en C.