Lukáš Beran
Lukáš Beran

Vítejte na mém blogu! Pokud hledáte návody, tipy a triky ze světa IT, jste tu správně. Najdete zde primárně články k produktům a službám Microsoftu, jako například operační systémy, servery, virtualizace, sítě, správa, ale také cloud. Občas přidám i nějaké další zajímavé články.

Červenec 2013
PoÚtStČtSoNe
1234567
891011121314
15161718192021
22232425262728
293031 

Rubriky


Spouštění výpočetních úloh na Microsoft HPC — Job Manager

Lukáš BeranLukáš Beran

V dnešním článku ze série HPC se zaměřím na spouštění a správu výpočetních úloh na Microsoft HPC clusteru pomocí HPC Job Manageru. Článek má formu přímočarého návodu.

Úlohy, které mají běžet paralelně na výpočetních nodech, by měly být spuštěny s asociací na výpočetní nody, tedy nastaven typ přidělených prostředků úloze jako Node. V rámci výpočetních nodů se poté ve výpočetní aplikaci použijí vlákna pro zajištění běhu na všech výpočetní jádrech a pro komunikaci úlohy mezi všemi výpočetními nody se použije MPI. Každá takto spouštěná úloha musí být předaná jako parametr aplikace mpiexec, která se stará o paralelizaci na clusteru.

Cesta, která je určená pro data výpočetních úloh včetně samotného spustitelného souboru výpočetní úlohy, musí být dostupná pro všechny výpočetní nody. Musí se tedy jednat buď o síťovou cestu zadanou pomocí UNC nebo musí být na všechny výpočetní nody rozkopírovaná stejná data umístěná ve stejném adresáři.

Vytvoření nové výpočetní úlohy

V pravém menu akcí vyberte New Job. V nově vytvořeném okně zadejte do políčka Job name jméno výpočetní úlohy pro pozdější snadnější orientaci. Job template ponechejte Default nebo vyberte některou dříve vytvořenou šablonu, Project nechte prázdný a Priority zůstane Normal.

Můžete si nastavit odeslání notifikací při spuštění úlohy a/nebo při ukončení úlohy pomocí zatržítek u položky Send a notification. Při zatržení alespoň jedné volby se zobrazí políčko s výchozí e-mailovou adresou načtenou z přihlášeného účtu. Tuto adresu je možné libovolně změnit, ale berte v úvahu problém s doručováním notifikací na e-maily, které nejsou na Microsoft Exchange, viz předchozí článek.

Ve spodní části okna vyberte typ Job resources jako Node kvůli paralelizaci pomocí MPI a volitelně můžete nastavit minimální a maximální počet nodů přidělených výpočetní úloze. Pokud necháte Auto, výpočetní cluster sám určí počet přiřazených nodů pro úlohu vzhledem k celkovému vytížení clusteru.

V levé části okna se přepněte na záložku Edit Tasks a poté v pravé části okna zvolte Add. Do políčka Task name můžete zadat jméno přidávaného výpočetního procesu. Do políčka Command line zadejte název spustitelného souboru výpočetního procesu včetně případných argumentů. Pokud spouštíte MPI úlohu, zadejte jako první mpiexec, což je aplikace, která umožní spouštět proces na více výpočetních nodech, a až za mpiexec název spustitelného souboru výpočtu s případnými parametry. Pokud se spustitelný soubor výpočetního procesu nenachází přímo v pracovním adresáři nastaveném níže v políčku Working directory, zadejte i relativní cestu vzhledem k pracovnímu adresáři nebo absolutní cestu. Cesta ke spustitelnému souboru musí být dostupná pro všechny výpočetní nody.

Do Working directory zadejte cestu k pracovnímu adresáři výpočetního procesu. Tato cesta musí být dostupná pro všechny výpočetní nody. Do pracovního adresáře se poté relativně zadávají cesty spustitelných souborů výpočtu v políčku Command line výše a standardní vstupy, výstupy i chybové výstupy výpočetního procesu v políčkách níže.

Jako poslední můžete specifikovat minimální a maximální počet výpočetních zdrojů přiřazených procesu. Typ zdroje je určen typem vybraným pro celou úlohu v předchozí části na záložce Job Details.

Na záložce Resource Selection můžete ručně vybrat výpočetní nody, na kterých má daná úloha běžet. Pokud nevyberete žádné výpočetní nody, úloha bude spuštěna na nejméně vytížených výpočetních nodech, které jsou dostupné.

Tlačítkem Submit přidejte novou výpočetní úlohu. Pokud budou dostupné výpočetní zdroje pro běh úlohy, je výpočet spuštěn okamžitě. Pokud výpočetní zdroje dostupné nebudou, bude úloha zařazena do fronty a při uvolnění výpočetních zdrojů bude automaticky spuštěna. V případě nastavených notifikací budete o spuštění a případně ukončení úlohy informováni na zadaný e-mail.

Zobrazení stavu výpočetní úlohy

Úlohy můžete filtrovat podle jejich stavu nebo vlastníka pomocí levého menu v Job Manageru.

Základní stav úlohy je možné vidět již v samotném výpisu úloh clusteru ve sloupci State. Pokud chcete zobrazit bližší podrobnosti o úloze a výpočetních procesech úlohy, dvojklikem na vybranou úlohu si můžete otevřít podrobnosti.

Na záložce Job Progress můžete vidět stav otevřené úlohy a případně zprávy úlohy s podrobnostmi o aktuálním stavu.

Záložka Job Details ukazuje počáteční nastavení úlohy.

Na záložce View Tasks můžete zobrazit výpočetní procesy úlohy a vidět podrobnosti jednotlivých procesů. Záložka Resource Selection umožňuje zobrazit vybrané zdroje pro danou úlohu a záložka Allocated Nodes zobrazuje výpočetní nody přidělené úloze.

Úprava výpočetní úlohy

Chcete-li úlohy upravovat, označte si úlohu ve výpisu úloh a v pravém menu akcí zvolte Modify Job.

Při úpravě výpočetních úloh se možnosti editace liší podle toho, v jakém stavu se úloha nachází. Z pochopitelných důvodů není možné například upravovat věci, které již proběhly, jako například notifikace při spuštění úlohy, když úloha již běží.

Zrušení výpočetní úlohy

Pokud chcete zrušit některou výpočetní úlohu, můžete to provést pomocí Cancel Job v menu akcí.

Mým primárním zaměřením je bezpečnost identit, zařízení a dat v cloudu pomocí služeb, technologií a nástrojů společnosti Microsoft.

Komentáře 0
Nejsou zde žádné komentáře.