Phelma Formation 2022

Projet Accélération matérielle (Image)(SICOM S9) - 5PMSPAM1

  • Volumes horaires

    • CM 0
    • Projet 32.0
    • TD 0
    • Stage 0
    • TP 0
    • DS 0

    Crédits ECTS

    Crédits ECTS 4.0

Objectif(s)

Ce projet présente certains des principes fondamentaux de l'apprentissage profond, avec un accent particulier sur la parallélisation de grands modèles sur des serveurs en cluster utilisant plusieurs GPU.

Il y aura une introduction à la parallélisation, en particulier :
1. Parallélisation des données
2. Parallélisation des modèles

Ensuite, nous accorderons une attention particulière à la parallélisation des données et nous étudierons deux modes différents :
1. Parallélisation centralisée des données
2. Parallélisation décentralisée des données

Nous étudierons l'estimation de la bande passante et l'allocation du bon serveur de paramètres.

Le projet final se concentrera sur la construction d'un modèle parallélisé pour les applications de traitement d'images telles que : Reconnaissance, Classification, Suivi, etc.

Contact Dawood AL CHANTI

Contenu(s)

Ce projet consiste en 8 sessions :

1. Dans les quatre premières sessions, nous passerons environ 1 à 2 heures à parler des bases nécessaires à la compréhension du projet et principalement de la parallélisation des données.

2. Ensuite, nous regarderons quelques tutoriels et problèmes-jouets pour nous familiariser avec Pytroch, un seul GPU, plusieurs GPU.

3. Les 3 dernières sessions seront consacrées à la construction de votre modèle et à l'analyse des performances.

4. Enfin, la dernière session est consacrée à la Soutenance.



Prérequis

Principes fondamentaux de l'apprentissage automatique

Contrôle des connaissances

Semestre 9 - L'examen existe en français et en anglais FR EN

1. Présentation finale 25%
2. Rapport 50%
3. QCM sur les fondements de la parallélisation des calculs en GPUs 25%



N1=75%CC+25%QCM
N2=50%CC+50%QCM

Informations complémentaires

Semestre 9 - Le cours est donné uniquement en anglais EN

Cursus ingénieur->Filières->Semestre 9
Cursus ingénieur->Double-Diplômes Ingénieur/Master->Semestre 9

Bibliographie

1. First contact with Deep Learning
https://torres.ai/first-contact-deep-learning-practical-introduction-keras/

2. Dive into Deep Learning
https://d2l.ai/

3. Deep Learning
https://www.deeplearningbook.org/