BeeGFS - BeeGFS
 | |
| Fejlesztő (k) | ThinkParQ Fraunhofer ITWM, |
|---|---|
| Stabil kiadás | 7.2.3 / 2021. július 1 |
| Operációs rendszer | Linux |
| típus | Elosztott fájlrendszer |
| Engedély | Szerver: saját , kliens: GPL v2 |
| Weboldal | beegfs |
A BeeGFS (korábban FhGFS) egy párhuzamos fájlrendszer , amelyet nagy teljesítményű számítástechnikához fejlesztettek ki és optimalizáltak . A BeeGFS kiterjesztett és rugalmassági okokból elosztott metaadat -architektúrát tartalmaz. Legfontosabb szempontja az adatátvitel.
A BeeGFS -t eredetileg a német Fraunhofer Center for High Performance Computing Centerben fejlesztette ki Sven Breuner körüli csapat, aki később a ThinkParQ (2014 - 2018) vezérigazgatója lett. szolgáltatásokat.
Míg a BeeGFS közösségi kiadása ingyenesen letölthető és használható, az Enterprise Edition -t professzionális támogatási előfizetői szerződés alapján kell használni.
Előzmények és használat
A BeeGFS 2005-ben belső fejlesztésként indult a Fraunhofer Center for HPC-ben, hogy lecserélje az intézet új számítási fürtjén lévő meglévő fájlrendszert, és termelési környezetben használják.
2007 -ben a szoftver első béta verzióját bejelentették az ISC07 során Drezdában, Németországban, és bemutatták a nyilvánosságnak az SC07 során Reno, NV -ben. Egy évvel később elérhetővé vált az első stabil nagy kiadás.
2014-ben a Fraunhofer megkezdte spin-offját, az új ThinkParQ for BeeGFS céget. Ebben a folyamatban az FhGFS -t átnevezték, és BeeGFS® lett. Míg a ThinkParQ karbantartja a szoftvert és professzionális szolgáltatásokat kínál, a ThinkParQ és a Fraunhofer együttműködésében folytatódik a szolgáltatások további fejlesztése.
A BeeGFS ingyenes jellege miatt nem ismert, hogy hány aktív telepítés létezik. 2014 -ben azonban már világszerte körülbelül 100 ügyfél használta a BeeGFS -t a ThinkParQ és a Fraunhofer kereskedelmi támogatásával. Köztük akadémiai felhasználók, például egyetemek és kutatóintézetek, valamint kereskedelmi vállalatok olyan területeken, mint a pénzügy vagy az olaj- és gázipar.
A figyelemre méltó telepítések közé tartozik számos TOP500 számítógép, például a Loewe-CSC klaszter a frankfurti Goethe Egyetemen (#22 a telepítésnél), a Bécsi Tudományos Klaszter a Bécsi Egyetemen , Ausztria (#56 a telepítéskor) és az Abel klaszter a az Oslói Egyetem , Norvégia (#96 a telepítésnél).
Kulcsfogalmak és jellemzők
A BeeGFS fejlesztésekor Fraunhofer három kulcsfontosságú koncepcióra törekedett a szoftverrel: skálázhatóság, rugalmasság és jó használhatóság.
A BeeGFS bármely Linux gépen fut, és több összetevőből áll, amelyek magukban foglalják az ügyfeleknek, metaadat -kiszolgálóknak és tárolószervereknek nyújtott szolgáltatásokat. Ezen kívül van egy szolgáltatás a felügyeleti gazdagéphez, valamint egy grafikus adminisztrációs és felügyeleti rendszerhez.
A BeeGFS rendszer áttekintése
A BeeGFS futtatásához a metaadat -kiszolgáló és a tárolószerver legalább egy példányára van szükség. De a BeeGFS lehetővé teszi, hogy minden szolgáltatás több példánya elosztja a terhelést nagyszámú ügyféltől. Az egyes komponensek skálázhatósága biztosítja, hogy maga a rendszer skálázható legyen.
A fájlok tartalmát több tárolószerverre osztják szét csíkozás segítségével, azaz minden fájl adott méretű darabokra van felosztva, és ezeket a darabokat a meglévő tárolószerverek között osztják szét. Ezeknek a daraboknak a méretét a fájlrendszer -rendszergazda határozhatja meg. Ezenkívül a metaadatok is el vannak osztva több metaadat -kiszolgálón egy könyvtári szinten, minden szerver a teljes fájlrendszer -fa egy részét tárolja. Ez a megközelítés lehetővé teszi az adatok gyors elérését.
Az ügyfelek, valamint a metaadatok vagy a tárolószerverek leállás nélkül hozzáadhatók egy meglévő rendszerhez. Maga az ügyfél egy könnyű kernel modul, amely nem igényel kernel javításokat. A szerverek egy meglévő helyi fájlrendszer tetején futnak. Nincs korlátozás az alapul szolgáló fájlrendszer típusára, amíg az támogatja a POSIX -ot ; az ajánlások szerint az ext4 -et kell használni a metaadat -kiszolgálókhoz, az XFS -t pedig a tárolószerverekhez. Mindkét szerver a felhasználói térben fut.
Ezenkívül nincsenek szigorú követelmények az egyes szolgáltatások dedikált hardvereire. A kialakítás lehetővé teszi egy fájlrendszer -adminisztrátor számára, hogy bármilyen kombinációban elindítsa a szolgáltatásokat egy adott gépcsoporton, és a jövőben bővítse. A BeeGFS -felhasználók körében gyakori lehetőség ennek kihasználására a metaadat -kiszolgálók és a tárolószerverek kombinálása ugyanazon a gépen.
A BeeGFS támogatja a különböző hálózati összekapcsolásokat dinamikus feladatátvétellel, mint például az Ethernet vagy az Infiniband, valamint számos különböző Linux disztribúciót és kernelt (a 2.6.16-tól a legújabb verzióig). A szoftver egyszerű beállítási és indítási mechanizmussal rendelkezik, amely init szkripteket használ. Azok számára, akik a grafikus felületet részesítik előnyben a parancssorokkal szemben, Java-alapú grafikus felhasználói felület (AdMon) áll rendelkezésre. A GUI biztosítja a BeeGFS állapotának felügyeletét és a rendszerbeállítások kezelését. A BeeGFS telepítésének kezelése és felügyelete mellett ez az eszköz néhány felügyeleti lehetőséget is kínál, amelyek segítenek azonosítani a teljesítménybeli problémákat a rendszeren belül.
BeeOND (BeeGFS igény szerint)
A BeeOND (BeeGFS on-demand) lehetővé teszi a BeeGFS fájlrendszer-példányok létrehozását egy csomóponton egyetlen parancssor segítségével. A szerszám lehetséges felhasználási esetei sokfélék; néhány közülük egy dedikált párhuzamos fájlrendszer beállítása fürtfeladathoz (gyakran nevezik sorozat-pufferelésnek ), felhőalapú számítástechnikához vagy gyors és egyszerű ideiglenes beállításokhoz tesztelés céljából.
BeeGFS és konténerek
A nyílt forráskódú konténertároló interfész (CSI) illesztőprogram lehetővé teszi a BeeGFS használatát a Kuberneteshez hasonló tárolószervezőkkel. Az illesztőprogramot olyan környezetek támogatására tervezték, ahol a Kubernetesben futó tárolóknak és a hagyományos HPC terheléskezelőknek futó feladatoknak meg kell osztaniuk ugyanazt a BeeGFS fájlrendszert. A vezető két fő munkafolyamatot engedélyez:
- A statikus kiépítés lehetővé teszi a rendszergazdák számára, hogy hozzáférést biztosítsanak a tárolóknak a BeeGFS meglévő könyvtáraihoz.
- A dinamikus kiépítés lehetővé teszi a tárolók számára, hogy kérjenek BeeGFS-tárhelyet (új könyvtárként).
A tárolóhoz való hozzáférés és a fájlrendszer láthatósága a kívánt könyvtárra korlátozódik. A dinamikus kiépítés figyelembe veszi a BeeGFS szolgáltatásait, beleértve a tárolókészleteket és a csíkozást, amikor létrehozza a megfelelő könyvtárat a BeeGFS -ben. A POSIX fájlrendszer általános jellemzői, mint például az új könyvtárak engedélyeinek megadása, szintén nyilvánosságra kerülnek, megkönnyítve a globális megosztott tárolók és tárolók integrálását. Ez jelentősen leegyszerűsíti a BeeGFS kvóták használatával a megosztott fájlrendszer konténerfogyasztásának nyomon követését és korlátozását.
Referenciaértékek
A Fraunhofer Seislab, a Fraunhofer ITWM teszt- és kísérleti fürtjén a következő referenciaértékeket hajtották végre, 25 csomóponttal (20 számítás + 5 tárhely) és háromszintű memóriával: 1 TB RAM, 20 TB SSD, 120 TB HDD. Az egyetlen csomópont teljesítménye a helyi fájlrendszeren BeeGFS nélkül 1332 MB/s (írás) és 1317 MB/s (olvasás).
A csomópontok 2x Intel Xeon X5660, 48 GB RAM, 4x Intel 510 sorozatú SSD (RAID 0), Ext4, QDR Infiniband és Scientific Linux 6.3, Kernel 2.6.32-279 és FhGFS 2012.10-beta1 rendszerekkel vannak felszerelve.
Olvasási/írási teljesítmény
Fájl létrehozása
IOPS
BeeGFS és exascale
A Fraunhofer ITWM részt vesz az Európai Unió Dynamic-Exascale Entry Platform-Extended Reach (DEEP-ER) projektjében, amely a számítási sebesség és az I/O sávszélesség, valamint a nagyméretű rendszerek rendszerállóságának növekvő szakadékával foglalkozik. .
Néhány szempont, amelyen a BeeGFS fejlesztői dolgoznak a projekt keretében:
- többszintű tárolás támogatása,
- POSIX interfész bővítmények,
- hibatűrés és magas rendelkezésre állás (HA), valamint
- továbbfejlesztett felügyeleti és diagnosztikai eszközök.
A terv az, hogy megtartjuk a POSIX felületet a visszafelé való kompatibilitás érdekében, de lehetővé tesszük az alkalmazások számára azt is, hogy jobban ellenőrizzék, hogyan kezeli a fájlrendszer az adatbehelyezést és az koherenciát az API -bővítményeken keresztül.