Projet Accélération matérielle (Image) - 5PMSPAM1

Objectif(s)

Ce projet présente certains des principes fondamentaux de l'apprentissage profond, avec un accent particulier sur la parallélisation de grands modèles sur des serveurs en cluster utilisant plusieurs GPU.

Il y aura une introduction à la parallélisation, en particulier :
1. Parallélisation des données
2. Parallélisation des modèles

Ensuite, nous accorderons une attention particulière à la parallélisation des données et nous étudierons deux modes différents :
1. Parallélisation centralisée des données
2. Parallélisation décentralisée des données

Nous étudierons l'estimation de la bande passante et l'allocation du bon serveur de paramètres.

Le projet final se concentrera sur la construction d'un modèle parallélisé pour les applications de traitement d'images telles que : Reconnaissance, Classification, Suivi, Segmentation. etc.

Dans ce projet, les étudiants vont utiliser le cluster GPU Gricad :
https://gricad-doc.univ-grenoble-alpes.fr/hpc/connexion/#se-connecter-aux-bastions-et-clusters-sans-mot-de-passe

Ainsi, les étudiants sont bien préparés à faire face à la construction d'un projet réel où les ressources ne sont généralement pas disponibles sur un seul ordinateur mais sur un HPC. À cet égard, les étudiants apprendront à se connecter et à configurer les paramètres du serveur, à allouer les bonnes ressources (1, 2 ou plusieurs GPU) et à estimer le temps nécessaire à leur calcul. En général, Gricad se compose d'un système OAR qui distribue les tâches des travaux en cours en fonction des priorités qui dépendent des ressources allouées, du temps d'exécution, etc.

Contenu(s)

Ce projet consiste en 8 sessions :

1. Dans les quatre premières sessions, nous passerons environ 1 à 2 heures à parler des bases nécessaires à la compréhension du projet et principalement de la parallélisation des données.

2. Ensuite, nous regarderons quelques tutoriels et problèmes-jouets pour nous familiariser avec Pytroch, un seul GPU, plusieurs GPU.

3. Les 3 dernières sessions seront consacrées à la construction de votre modèle et à l'analyse des performances.

4. Enfin, la dernière session est consacrée à la Soutenance.

Principes fondamentaux de l'apprentissage automatique