UE Multimedia documents : automatic description and search

Degrees incorporating this pedagocial element :

Description

Dans ce module, nous allons voir comment construire des représentations de contenus multimédia (texte, audio, images et vidéos) et comment utiliser ces représentations pour faire une indexation automatique et une recherche par le contenu dans des collections de documents multimédia. Nous aborderons les méthodes dites classiques mais nous verrons principalement les méthodes basées sur l’apprentissage profond (deep learning).

Les 15h de TP seront utilisés pour réaliser et optimiser un système complet d’indexation automatique par apprentissage profond de concepts visuels dans une collection d’images. Nous verrons l’environnement d’apprentissage profond "pytorch". Nous travaillerons sur GPU sur la plateforme Grid’5000 dans le cadre d’un "teaching lab".

Le site du cours est http://gbgi9u07.imag.fr

Targeted skills

Being able to design and implement an indexing chain of a multimedia document: from the description of the document, to its automatic search in a database. The types of multimedia data we are interested in are text, image, video, and sound.