Den nye LUMI AI Guide er især målrettet nybegyndere på systemet, og hjælper brugerne fra første opsætning til avanceret optimering af AI-applikationer. Formålet er at mindske afstanden mellem kendte arbejdsgange på lokale maskiner og de nye krav, der følger med at arbejde på en pre-exascale supercomputer.
"Vi har forsøgt at lave en guide, der møder brugerne, hvor de er – uanset deres AI-erfaring. For nybegyndere er der fokus på at få tingene til at virke rigtigt fra starten. For de mere erfarne er der kapitler om skalering til flere GPU’er og hvordan man profilerer sin kode for maksimal ydelse," fortæller Joachim Sødequist, specialkonsulent i DeiC. Hands-on tilgang til AI på LUMI
Guiden har en praktisk tilgang og bruger en konkret eksempelapplikation – en Visual Transformer bygget på PyTorch – til at vise hele arbejdsflowet. Fokus er bl.a. på korrekt opsætning af software i containere, valg af datalagring og håndtering af de mange små filer, som ofte med følger med i de store AI-datasæt. Netop disse elementer er kritiske for at anvende LUMIs filsystem korrekt og få optimal ydelse.
Guiden dækker også brugen af populære visualiseringsværktøjer som TensorBoard, MLFlow og Weights & Biases, så brugerne nemt kan følge med i deres modeltræning mens beregningerne kører på LUMI.
Ifølge Rune Ørum, projektleder i DeiC, kan guiden bidrage til at sænke barrieren for forskere der gerne vil i gang med at anvende både nationale og europæiske HPC-faciliteter.
”Den konkretiserer hvad man skal gøre sig klar inden man går i gang, hvilket er en afgørende faktor for at få et succesfuldt forskningsprojekt.”
