Forskere kan nu analysere data fra Danmarks Statistik på nationale HPC-anlæg

Det sker gennem et nyt såkaldt API (application programing interface), som forbinder Danmarks Datavindue med landets HPC-anlæg (High Performance Computing).  Løsningen er udviklet og lanceres af Danmarks Statistik i samarbejde med DeiC og universiteternes HPC-miljøer for at sikre danske forskere fleksibel og sikker adgang til avanceret databehandling.

Ny teknisk bro mellem DST og universiteterne

Danmarks Statistik har i 175 år indsamlet data om Danmark og danskerne, og siden 1988 har forskere ved danske forskningsinstitutioner kunnet arbejde med disse data i lukkede computermiljøer kaldet forskermaskiner via DST’s mikrodataordninger.

Den nye API løsning gør det muligt at flytte selve analysen til universiteternes supercomputere – samtidig med, at datasikkerheden bliver fastholdt fuldt ud. Forskerne får dermed adgang til langt større beregningskapacitet og moderne analyseværktøjer, uden at sikkerheden bliver kompromitteret.

GenomeDK og DTU Computerome er de første aktører, som har indgået aftale med DST om denne løsning og fra den 4. december er det muligt at oprette projekter via disse HPC-anlæg. 

Sikker pseudonymisering og kontrolleret dataflow

Som autoriseret institution under DST’s mikrodataordninger, stilles data i dag til rådighed for certificerede brugere, som bestilles via Danmarks Datavindue. Alle data pseudonymiseres, inden forskerne får adgang til dem og kan anvende dem i deres forskning.

Med det nye API kan pseudonymiserede data herefter behandles hos et godkendt HPC-anlæg, hvor forskeren har fået bevilget eller indkøbt regnetid. Overførslen sker gennem det nye API, som er baseret på en såkaldt pull-arkitektur, hvor HPC-centrene selv henter de nødvendige data og instruktioner, når de er klar til at modtage dem. Det betyder, at Danmarks Statistik ikke behøver oprette tekniske forbindelser til hvert enkelt anlæg, hvilket både øger sikkerheden og gør løsningen lettere at vedligeholde og udbygge.

Behandlingen af data foregår herefter på HPC-anlægget, hvor forskeren får adgang til højt specialiseret hardware, komplekse softwareløsninger og teknisk support. Når analysen er færdig, skal resultaterne igen returneres til DST, hvor de godkendes, inden forskeren kan hente dem ud til videre brug. 

Michael Specht, Projektleder i DST, understreger: 

"Det handler om at flytte beregningerne derhen, hvor kompetencerne og ressourcerne er – uden at gå på kompromis med sikkerhed og kontrol. Vores vigtigste princip er, at data aldrig må komme ud af vores kontrol. Derfor har hele løsningen været bygget op omkring, at alle dataoverførsler sker via Danmarks Datavindue, og at vi bevarer overblikket over hver eneste bevægelse,”

Én løsning til bred anvendelse

Løsningen er resultatet af et tæt samarbejde mellem Danmarks Statistik, Danish e-infrastructure Consortium (DeiC) og universiteternes HPC-centre og er udviklet opfordring fra Koordinerende Organ for Registerforskning (KOR), Målet har fra starten været at udvikle én standardiseret løsning, som alle danske HPC-centre og andre forskningsorganisationer kan tilslutte sig – og dermed undgå at skulle udvikle særskilte integrationer for hvert center. 

Projektleder Rune Gamborg Ørum fra DeiC ser flere andre brugsperspektiver i løsningen; 

“Vi glæder os til løsningen kommer i drift, og ser muligheder for, at andre typer organisationer end HPC-anlæg, som fx sektorforskningsinstitutioner potentielt kan få værdi af løsningen på sigt”.

Forperson for Koordinerende Organ for Registerforskning glæder sig ligeledes over, at løsningen nu er en realitet:

“Jeg sætter stor pris på, at det er lykkedes for DEIC og Danmarks Statistik at få gennemført dette projekt. Det åbner flere muligheder for forskerne for at kunne analysere store og komplekse datasæt”. 

Om projektet

Udviklingen af det nye API startede i 2023. Danmarks Statistik har haft ansvaret for projektledelse og udvikling af den sikre adgang til data, mens DeiC har spillet en central rolle i det tekniske samarbejde med HPC-centrene og i udviklingen af forbindelsen mellem API’et og HPC-anlæggene. DeiC har desuden udviklet og testet en proof-of-concept-kode, som HPC-centrene har kunnet tilpasse deres lokale systemer.

HPC-centrene har i et stort omfang og løbende bidraget med teknisk feedback og test, og deres medvirken har været afgørende for at sikre, at løsningen fungerer i praksis på tværs af forskellige platforme. Resultatet er en skalerbar og robust arkitektur.

Den tekniske implementering af API’et og integrationen med Danmarks Datavindue er leveret af Copenhagen data.