GPU Erőforrás-gazdálkodási Szabályzat

a HUN-REN Cloudon 2025. január 1-től
IaaS projektek számára

1. Bevezetés

2025. január 1-től új GPU Erőforrás-gazdálkodási rendszer lép életbe a HUN-REN Cloud felhasználók számara GPU-t használó IaaS típusú projektek esetén. Az új rendszer bevezetésének célja, hogy egységnyi idő alatt (pl. egy évre vetítve) minél több GPU-t használó IaaS típusú projektet lehessen a felhőn indítani.

2. GPU-t használó IaaS típusú projektek kategóriái

A GPU-t használó IaaS típusú projekteket 4 kategóriába soroljuk:

• 1 éves igényű projektek, melyek a kért erőforrásokat egy teljes évre megkapják
  • Szolgáltatást nyújtó projekt
  • Ernyőprojekt
• 3 hónapos igényű projektek, melyek a kért erőforrásokat 3 hónapra kapják meg
  • Előkészítő projekt
  • Haladó projekt

A 3 hónap azt jelenti, hogy azok a projektek, amelyek nem igényelhetnek egyszerre 1 éves időtartamot a felhőn (mivel nem nyújtanak szolgáltatást és nem ernyőprojektek, hanem egyedi projektek) egyszerre csak 3 hónap időtartamra kérhetik a felhő használatot. Ugyanakkor, ha úgy látják, hogy a 3 hónap nem lesz elég a projekt befejezéséhez, akkor kérhetik a projekt hosszabbítását, de ez az igény is csak 3 hónapra szólhat. Viszont a 3 hónapos hosszabbítási igény akárhányszor beadható.

2.1. Szolgáltatást nyújtó projekt

Az 1 éves szolgáltatást nyújtó projekt folyamatos szolgáltatást nyújt külső felhasználók számára (pl. arcfelismerő szolgáltatás). Tekintettel arra, hogy a HUN-REN Cloud best effort szolgáltatást nyújt SLA nélkül, a cloudon futó szolgáltatást nyújtó projektek is csak ilyen best effort szolgáltatást vállalhatnak felhasználóik felé és SLA követeléssel a HUN-REN Cloud felé nem léphetnek fel. Ennek tudomásul vételét a szolgáltatást nyújtó projektet igénylő HUN-REN Cloud felhasználónak a projekt igénylése során a projekt igénylő lapon fel kell tüntetni.

2.2 Ernyőprojekt

Az 1 éves ernyőprojekt egy olyan projekt, amelyben nem egy, hanem több projekt/kutatócsoport osztozik az igényelt erőforrásokon és az erőforrások kiosztását, egymás közötti ütemezését saját maguk szervezik meg. Pl. egy egyetemi kar projektjei együttesen használják a számukra allokált GPU erőforrásokat. Ernyőprojekt igénylése során a projekt igénylő lapon fel kell tüntetni, hogy minimum hány projekt fog működni az ernyőprojekten belül és projektenként meg kell mondani, hogy az adott projektnek kik a résztvevői és hány publikációt, ill. disszeminációs tevékenységet vállalnak.

2.3 Előkészítő projekt

A 3 hónapos előkészítő projekt egy olyan projekt, ami most kér először GPU erőforrásokat a felhőn és a résztvevő kutatóknak még nincs tapasztalatuk a GPU használatával a felhőn.

Az ilyen projektek típikusan azon dolgoznak, hogy kialakítsák azt a szoftver környezetet, amiben a GPU-kat használni fogják. Ez általában egy időigényes feladat és nem jár együtt intenzív GPU használattal. Ezért az előkészítő projektek csak a legkisebb GPU flavort igényelhetik 1 GPU-val.

A 3 hónap kitöltése nem kötelező. Ha a projekt előbb elkészül a szükséges környezet kialakításával, akkor az előkészítő projektet lezárhatja és egy új haladó projektet igényelhet (ld haladó projekt igénylési űrlap).

2.4 Haladó projekt

A 3 hónapos haladó projekt egy olyan projekt, ami már

• vagy sikeresen kialakította a projekt számára szükséges szoftver környezetet
• vagy van olyan tagja, aki már használta a HUN-REN Cloudot GPU-val és van GPU-s szoftver környezet felállítási tapasztalata

Típikusan egy előkészítő projekt sikeres befejezése után válhat egy előkészítő projekt haladó projektté. A haladó projektek már bármilyen GPU flavort igényelhetnek. Az előkészítő projekt sikeres befejezését igazolni kell egy prezentációval annak a projektnek, amelyik az előkészítő státuszból a haladó státuszba akar átlépni.

3. Fogalmak a projekt igények eldöntésére

A GPU allokálási rendszer kétféle állapotban lehet:

• Alapállapot (van elég GPU kapacitás az aktuális projekt igény kielégítésére)
• Versenyállapot (nincs elég GPU kapacitás az aktuális projekt igény kielégítésére)

Megkülönböztetünk háromféle időszakot:

• 3 hónapos Projekt időszakok (a 3 hónapos projektek végrehajtási időszaka)
  (jan. 1. – márc. 31.), (ápr. 1. – jún. 30.), (júl. 1. – szept. 30.), (okt. 1. – dec. 31.)
• Elbirálási időszakok (a várakozó projekt igények elbírálási időszaka)
  márc. 1-14, jún. 1-14, szept. 1-14., dec. 1-10.
• Felkészülési/zárási időszakok (elfogadott új projektnél felkészülés a következő projekt időszakra, elutasított hosszabbítási projekt igény esetén a projekt zárása)
  márc. 15-31, jún. 15-30, szept. 15-30., dec. 11-23.

Megkülönböztetünk kétféle projekt igényt

• Új projekt igény (a projekt most lesz létrehozva a felhőn)
• Hosszabbítási projekt igény (a projekt működik a felhőn és szeretné meghosszabbítani működését további 1 évvel vagy 3 hónappal a projekt kategóriája szerint)

4. Új projekt igények kielégítési algoritmusa

Új projekt igénylése esetén figyelembe kell venni, hogy a GPU allokálási rendszer milyen állapotban van.

• Alapállapotban új projekt igény jön és van elég GPU, akkor az új projekt indulhatés marad az Alapállapot.
• Alapállapotban új igény érkezik, amit nem lehet kielégíteni, akkor átmenet a Versenyállapotba és az új projekt várakozik.
• Versenyállapotban új igény érkezik, az új projektnek meg kell várni a soron következő Elbírálási időszakot.

Versenyállapotban várakozó új és hosszabbítási projekt igények kiértékelése:

• Van elég GPU minden új projekt igény számára (beleértve a hosszabbítási igényeket is), akkor minden új projekt indítható és a hosszabbítást kérő projektek folytathatók. A rendszer átmegy Alapállapotba.
• Nincs elég GPU minden új és hosszabbítási projekt igény számára. Ekkor a projektek elbírálása a beadott igénylőlapok alapján. (Az új- és hosszabbítási igények azonos súllyal esnek latba.) A rendszer marad Versenyállapotban.

5. Hosszabbítási projekt igények elbírálása

Hosszabbítási projekt igény elbírálása független attól, hogy a GPU allokálási rendszer milyen állapotban van, mindenképp meg kell várnia a soron következő Elbírálási időszakot. Ha egy futó projektet leállás nélkül folytatni akarnak, akkor az aktuális Projekt időszakon belüli Elbírálási időszak előtt be kell adni a folytatási igényt. Ha ez megtörténik, akkor a a projekt folytatási igény automatikusan egy pályázatba megy át, aminek elbirálását ld. később.

Ha a projekt folytatási igény beadása lekési az aktuális Projekt időszakon belüli Elbírálási időszak kezdetét, akkor az elbírálásához ki kell várnia a soron következő Projekt időszakon belüli Elbírálási időszakot. Ezért úgy tekintjük, hogy ez a projekt nem akarja a folytatást és lemond a számára allokált erőforrásokról. Ez azért fontos, mert ezeket az erőforrásokat más projektek között fogjuk szétosztani. Következésképpen a projektnek az aktuális projekt időszak végéig mindenképpen le kell költöznie a felhőről. Erre szolgál többek között a Felkészülési időszak (felkészülés a projekt felhőből történő leköltöztetésére). Ilyenkor a projektnek a következő 3 hónapos projekt időszakban mindenképp szünetelni kell.

A fentiek miatt nagyon fontos, hogy a projekt folytatási igényt időben beadja az a projekt, amelyik meghosszabbítást szeretne.

6. Segítő magyarázatok

Figyeljük meg, hogy a 3 hónapos Projekt időszak végére minden 3 hónapos projektnek vagy be kell fejeződnie, vagy ha időben hosszabbítást kér és az elbírálás pozitív, akkor folytatódhat megszakítás nélkül.

Ez az oka annak, hogy az Elbírálási időszakban az adott Projekt időszakhoz rendelt 3 hónapos IaaS projektekhez rendelt erőforrás halmazt át lehet rendezni a hatékonyan futó projektek javára.

Versenyállapotban minden beérkező pályázatnak meg kell várnia a következő Elbírálási időszakot, amikor is az addig beérkezett pályázatokat (új és hosszabbítási projekt igényeket) együttesen bírálja el egy szakértői bizottság és osztja ki a meglévő erőforrásokat a nyertes pályázatok között.

Ha az elbírálási időszakig befutó hosszabbítási és új projekt igények együttesen kielégíthetők a rendelkezésre álló erőforrásokkal, akkor az elbírálás leegyszerűsödik, minden kérelem automatikusan megkapja a pozitív elbírálást.

A fentiekből kiderül, hogy ha van elég erőforrás és nincs versenyhelyzet, akkor gyakorlatilag minden ugyanúgy történik, mint az előző rendszerben.

• Aki projektet akar indítani, az azonnal megkapja rá az engedélyt
• Aki hosszabbítani akar, az időben megkapja rá az engedélyt, hogy megszakítás nélkül folytathassa a projektjét és mivel akárhányszor kérheti a hosszabbítást, tetszőlegesen hosszú ideig működhet a projekt

Mindössze 3 apró változás van:

• Az Előkészítő projekt bevezetésével elkerüljük, hogy a kezdeti szoftver környezet felállítása idején a GPU erőforrások kihasználatlanul álljanak.
• 3 havonta (vagy évente) kérni kell a projektek hosszabbítását, de ez automatikusan engedélyezve lesz, ha van elég erőforrás.
• Minden új és hosszabbítási projekt igényléshez ki kell tölteni a GPU igénylőlapot (valójában csak egyszer a projekt beadásakor, hosszabbításkor legfeljebb minimális aktualizálás szükséges).

7. A projekt pályázatok elbírálása és a GPU igénylőlapok

Az elbírálás érdekében minden új és hosszabbítási projekt igényléshez csatolni kell egy kitöltött GPU igénylőlapot a felhő weblapján. A projektek elbírálásában az itt megadott információkra támaszkodik az elbíráló szakértői bizottság. Fontos megjegyezni, hogy az új és hosszabbítási igények azonos súllyal esnek latba (egyik sem preferált). A kitöltött GPU igénylőlapot csatolni kell a korábban megszokott webfelületen.

A GPU igénylőlapon a következő információkat kell megadni:

• A négyféle IaaS projekttípusból melyiket igényli a projekt
• A kutatás céljának és várható tudományos impaktjának rövid leírása. (max 1500 karakter)
• A projektben résztvevő, a felhőt ténylegesen használó projekttagok felsorolása akadémiai besorolásukkal (PhD, habilitált docens, egyetemi tanár, MTA doktora, akadémikus) és ezen belül a projektvezetőt (aki egyúttal a pályázó) ki kell emelni.
• Az igényelt GPU erőforrások várható, százalékos kihasználtsága a projekt során.
• A GPU használat várható időbeli mintázata (pl. folyamatos, szakaszos (mekkora használati szakaszok és közöttük mekkora szünetek), stb.). (max 1000 karakter)
• A projekthez szorosan kapcsolódó nemzetközi projektek vagy szervezetek megadása, ill. annak leírása, hogy ezek hogyan használják a felhőn indítandó projekt eredményeit, vagy milyen más módon kapcsolódnak a projekthez. (max 1500 karakter)
• Vállalt publikációk (D1, Q1, Q2, előadások, stb.) száma
• Ha a projektben résztvevő cloud felhasználóknak van más futó vagy befejezett GPU-t használó projektje a HUN-REN Cloudon, vagy más cloudon, akkor az abban, vagy azokban elért eredmények (publikációk, előadások, stb.) tételes felsorolása. (Ilyen esetben az előkészítő projekt fázist ki lehet hagyni, azonnal haladó projektet lehet igényelni.)
• Hosszabbítási igény esetén:
  • Van-e erőforrásigény változás (csökkentés, vagy növelés)
  • Az aktuális 3 hónapos projekt időszakban elért eredmények (max 1000 karakter)
• Nyilatkozat tétele: Kijelentem, hogy az igényelt projektben a megadott intézményen belül a leírt kutatás érdekében használom a HUN-REN Cloudon futó projektet.

Specialitások projekt kategóriánként:

a/ Szolgáltatást nyújtó projekt:

Nyilatkozat tétele: Tudomásul veszem, hogy a HUN-REN Cloud best effort jellegű szolgáltatást nyújt SLA nélkül és ennek megfelelően az igényelt projekt által nyújtott szolgáltatás is best effort jellegű lesz SLA nélkül. Kijelentem, hogy a HUN-REN Cloud felé semmilyen SLA követelésem nincs és nem is lesz.

b/ Ernyőprojekt:

Meg kell adni, hogy min. hány projekt fog működni az ernyőprojekt keretében és ebből hány haladó projekt van.

Amely projektekről már lehet tudni, ott megadni a projekt címét, résztvevőit és hogy hány és milyen publikációt, ill. disszeminációs tevékenységet vállalnak.

c/ Haladó projekt:

Meg kell adni, hogy miért nevezheti magát haladónak a projekt:

• Előkészítő projekt sikeres befejezése
• A projekt tagoknak legalább egyike már futtatott haladó projektet a HUN-REN Cloudon

8. Összefoglalás

A teljes (igénylési és elbírálási) folyamatot mutatja a 2. ábra.

Amig nincs versenyhelyzet (van elegendő erőforrás) addig minden úgy történik, mint az előző rendszerben. Amint kialakul a versenyhelyzet (elfogytak az erőforrások) minden projekt indítása és folytatása versenyhelyzetben dől el, ahol fontos szempont, hogy egy projekt mennyi erőforrást kér. Ezért mindenkinek az az érdeke, hogy tényleg csak annyi erőforrást kérjen, amire valóban szüksége van és azokat minél jobban kihasználja. Ebben segít a HUN-REN Cloud szakértői csapata, mint ahogy abban is, hogy az előkészítő projekt fázisból minél előbb haladó projekt fázisba léphessen egy projekt.