Utilisation des frameworks de Machine Learning et Deep Learning sur GPUs

Conteneurs Singularity

Des frameworks de « machine learning » et « deep learning » sont disponibles sur le cluster de calcul ANITI sous forme de conteneurs.

Afin de permettre l'utilisation de plusieurs versions de Cuda/CuDNN/Python et éviter les problèmes de dépendances et les conflits entre librairies de machine learning, chaque framework s'exécute dans un conteneur dédié. Bien que Docker soit la solution de conteneurisation la plus répandue, nous utilisons sur Osirim Singularity, solution de conteneurisation adaptée aux clusters de calcul.

https://www.sylabs.io/docs/

Les images Singularity (.SIF) des frameworks sont bâties sur des images Ubuntu 18.04 et CUDA11. Les images (.SIF) sont disponibles sous /logiciels/containerCollections/

Nom du conteneur	OS	CUDA	CuDNN	Tensorflow	Pytorch	Contents
tf2-NGC-21-03-py3.sif	Ubuntu 20.04	11.2	8.1.1	2.4.0		Release Notes
pytorch-NGC-21-03-py3.sif	Ubuntu 20.04	11.2	8.1.1		1.9.0	Release Notes
pytorch-NGC-22-03-py3.sif	Ubuntu 20.04	11.6	8.3.3		1.12.0	Release Notes
julia-1.5.2-NGC.sif.sif	Ubuntu 20.04	10.2				Release Notes

Les images portant la mention NGC sont des images construites à partir des conteneurs dockers Nvidia disponibles sur https://ngc.nvidia.com

Exécution d'un conteneur singularity

L'exécution d'un conteneur singularity s'effectue via la commande 'singularity exec' suivie de l'image du conteneur et du traitement à exécuter dans le conteneur.

Exemple :

module load singularity/3.8.3
cd /logiciels/containerCollections/CUDA11/
singularity exec ./tf2-NGC-21-03-py3.sif \$HOME/moncode.sh

A noter que les variables d'environnement de l'utilisateur sont disponibles dans les conteneurs ainsi que les répertoires /users /projets et /logiciels

Utiliser les Frameworks dans un batch Slurm

Les frameworks disponibles ont la capacité de s'exécuter sur CPUs ou GPUs. Vous pouvez donc exécuter les conteneurs avec Slurm sur n'importe quelle partition du cluster ANITI: 'CPU-Nodes' ou 'GPU-Nodes'.

Dans les exemples ci-dessous, nous souhaitons tirer parti des GPUs, et exécutons les traitements sur la partition 'GPU-Nodes'. Pour indiquer à Slurm que nous souhaitons utiliser des GPUs, 2 paramètres sont à mentionner impérativement :

#SBATCH --gres=gpu:1 (le nombre de cartes que l'on souhaite utiliser, 3 max par serveur) #SBATCH --gres-flags=enforce-binding

Par ailleurs, pour indiquer à Slurm le nombre de CPUs que nous souhaitons réserver, nous utilisons le paramètre suivant :

#SBATCH --cpus-per-gpu=x (où x est le nombre de CPUs associé à chaque carte réservée)

Il n'est pas obligatoire de spécifier la mémoire nécessaire par CPU dans le batch. Par défaut, chaque Job dispose automatiquement de 10240 Mo par CPU demandé (soit 10 Go) pour les nœuds de calcul de la partition GPU-Nodes.

Exemples d'utilisation du framewok Tensorflow

Contenu de slurm_job_tf.sh pour l'exécution de Tensorflow:

#!/bin/sh

#SBATCH --job-name=GPU-Tensorflow-Singularity-Test
#SBATCH --output=ML-%j-Tensorflow.out
#SBATCH --error=ML-%j-Tensorflow.err

#SBATCH --ntasks=1
#SBATCH --cpus-per-gpu=1
#SBATCH --partition=GPU-Nodes
#SBATCH --gres=gpu:1
#SBATCH --gres-flags=enforce-binding

module purge
module load singularity/3.8.3

srun singularity exec /logiciels/containerCollections/CUDA11/tf2-NGC-21-03-py3.sif python "$HOME/tf-script.py"

Exécution :

[prenom.nom@cr-login-1 ~]#  sbatch slurm_job_tf.sh

Installation de packages supplémentaires

Il se peut que vous souhaitiez utiliser des bibliothèques non disponibles par défaut dans les conteneurs mis à votre disposition.

Pour installer des packages complémentaires, vous pouvez pour cela utiliser virtualenv, pip ou conda.

Voici ci-dessous la procédure à suivre :

Tout d'abord, vous devez créer un environnement virtuel à partir de votre $HOME directory, en ouvrant un shell dans le conteneur :

$ singularity shell /logiciels/containerCollections/CUDA11/tf2-NGC-21-03-py3.sif

Pour créer un environnement virtuel, dans le répertoire appelé 'ENVNAME' :

(tf2-NGC-21-03-py3.sif) → $ mkdir $HOME/ENVNAME

puis,

(tf2-NGC-21-03-py3.sif) → $ virtualenv --system-site-packages $HOME/ENVNAME

Le paramètre --system-site-packages utilisé avec la commande virtualenv vous permettra d'utiliser dans l'environnement virtuel tous les packages déjà installés avec le python utilisé pour installer l'environnement virtuel (tensorflow, pytorch ou keras par exemple).

Ensuite, une fois l'environnement virtuel créé, vous pouvez installer localement les packages voulus (exemple avec le package Shogun de Reinforcement Learning Package) en utilisant pip.

Pour éviter une erreur du type "EnvironmentError: [Errno 28] No space left on device",vous devez positionner la variable d'environnement Linux TMPDIR dans votre Home directory à la place de celui par défaut, qui ne contiendra peut être pas suffisamment d'espace.

(tf2-NGC-21-03-py3.sif) → $ mkdir localTMP
(tf2-NGC-21-03-py3.sif) → $ TMPDIR=$HOME/localTMP
(tf2-NGC-21-03-py3.sif) → $ TMP=$TMPDIR
(tf2-NGC-21-03-py3.sif) → $ TEMP=$TMPDIR
(tf2-NGC-21-03-py3.sif) → $ export TMPDIR TMP TEMP

Après avoir exporté les variables TMPDIR, TMP et TEMP, votre environnement est prêt pour l'installation des packages complémentaires en utilisant pip :

$ singularity shell /logiciels/containerCollections/CUDA11/tf2-NGC-21-03-py3.sif

(tf2-NGC-21-03-py3.sif) → $ source ENVNAME/bin/activate
(tf2-NGC-21-03-py3.sif) → $ pip3 install shogun-ml --user

Note : le flag --user permet d'installer les packages dans le répertoire local de votre environnement ENVNAME, non dans le conteneur

Enfin, vous pouvez utiliser les nouveaux packages dans vos traitements à partir d'un job SLURM :

Exécution :

[prenom.nom@cr-login-1 ~]$  sbatch slurm_job_shogun.sh

Contenu de slurm_job_shogun.sh :

#!/bin/sh

#SBATCH --job-name=GPU-shogun-Singularity-Test
#SBATCH --output=ML-%j-shogun.out
#SBATCH --error=ML-%j-shogun.err

#SBATCH --ntasks=1
#SBATCH --cpus-per-gpu=1
#SBATCH --partition=GPU-Nodes
#SBATCH --gres=gpu:1
#SBATCH --gres-flags=enforce-binding

module purge
module load singularity/3.8.3

srun singularity exec /logiciels/containerCollections/CUDA11/tf2-NGC-21-03-py3.sif $HOME/ENVNAME/bin/python "$HOME/shogun-script.py"

IMPORTANT :

Si vous créez un environnement virtuel Python avec une version spécifique de python (e.g. conda2 create -n ENVNAME python=2.7), vous devrez réinstaller dans cet environnement tous les packages dont vous aurez besoin, y compris ceux déjà inclus dans le conteneur.

CAS SPECIAL : Installation de packages Python à partir de GitHub

Après avoir activé votre environnement virtuel avec conda ou virtualenv, vous pouvez télécharger le package dans un répertoire spécifique :

(tf2-NGC-21-03-py3.sif) → $ source activate ENVNAME
(tf2-NGC-21-03-py3.sif) → $ mkdir mesPackagesGithub
(tf2-NGC-21-03-py3.sif) → $ cd mesPackagesGithub
(tf2-NGC-21-03-py3.sif) → $ wget https://github.com/tensorflow/compression/archive/v1.1.zip
(tf2-NGC-21-03-py3.sif ~/mesPackagesGithub) → $ unzip v1.1.zip
(tf2-NGC-21-03-py3.sif ~/mesPackagesGithub) → $ ls

drwxr-xr-x 2 prenom.nom celdev 820 compression-1.1

Après avoir fini l'installation manuelle du package et pour pouvoir ensuite l'utiliser, vous devez modifier la variable d'environnement PYTHONPATH pour qu'elle prenne en compte le chemin du répertoire où vous avez installé le package. Vous pouvez le faire de deux façons :

Soit par un export dans le script Slurm :

#!/bin/sh
#SBATCH --job-name=Multi-CPU-Test
#SBATCH --output=ML-%j-Tensorflow.out
#SBATCH --error=ML-%j-Tensorflow.err
#SBATCH --ntasks=1
#SBATCH --cpus-per-gpu=1
#SBATCH --partition=GPU-Nodes
#SBATCH --gres=gpu:1
#SBATCH --gres-flags=enforce-binding

export PYTHONPATH="~/mesPackagesGithub:$PYTHONPATH"

srun [...]

Soit dans l'en tête du script python que vous souhaitez exécuter :

import sys
import os
sys.path.append('/users/prenom.nom/mesPackagesGithub/compression-1.1')
import tensorflow_compression as tfc

[...]

Spécificités d'utilisation de l'image singularity Julia

Un conteneur Julia essaie de pré-compiler des packages dans des fichiers et sauvegarde des logs (history logs) dans le répertoire /data inclus dans le conteneur. Contrairement à Docker qui autorise des droits root, Singularity va générer une erreur de permission. Le contournement est de créer un nouveau répertoire dans votre home directory et l'associer au répertoire /data du conteneur.

mkdir data
singularity exec -B $(pwd)/data:/data /logiciels/containerCollections/CUDA11/julia-1.5.2-NGC.sif /your-path/your-script.jl

où -B est l'option permettant de spécifier votre répertoire