Lukáš Beran
Lukáš Beran

Vítejte na mém blogu! Pokud hledáte návody, tipy a triky ze světa IT, jste tu správně. Najdete zde primárně články k produktům a službám Microsoftu, jako například operační systémy, servery, virtualizace, sítě, správa, ale také cloud. Občas přidám i nějaké další zajímavé články.

Červenec 2013
PoÚtStČtSoNe
1234567
891011121314
15161718192021
22232425262728
293031 

Rubriky


Vytvoření výpočetního Microsoft HPC clusteru

Lukáš BeranLukáš Beran

Návodů na vytvoření výpočetního Microsoft HPC clusteru na internetu moc není. V češtině už vůbec ne. Proto v následujícím článku popíši vytvoření a základní nastavení Microsoft HPC. Následující návod je založený na Microsoft HPC Pack 2008 R2 s Windows Server 2008 R2 HPC Edition jako head node. Nutností je Active Directory, do které musí být přidány všechny nody clusteru.

Systémové požadavky

Hardwarové požadavky

Pro zapojení do klastru s vysokou dostupností je potřeba Enterprise edice hlavních a broker nodů.

Instalace hlavního nodu

Jako první je instalace hlavního nodu založeného na Windows Server 2008 R2 HPC Edition. Jedná se o lehce modifikovanou verzi Windows Server 2008 R2 pro použití ve výpočetním clusteru, která je oproti běžným edicím rozšířena o NetworkDirect RDMA, nástroje pro správu clusteru, SOA správce úloh, MPI knihovnu a High Performance Computing Basic role. Po instalaci a aktualizaci následuje zařazení do Active Directory. Dalším krokem je instalace Microsoft HPC Pack 2008 R2 na hlavní nod. Licenčně je možné si vybrat mezi edicí Enterprise a Express. Edice Express je dostupná zdarma ke stažení, edice Enterprise je dostupná v rámci placeného balíku Microsoft HPC Pack 2008 R2 Suite (VL nebo OEM) nebo jako samostatný produkt (VL, OEM nebo MSDN). Edice Enterprise navíc poskytuje možnost běhu Microsoft Excel úloh a přidání běžných pracovních stanic s desktopovými Windows do clusteru jako Workstation node.

Prvním krokem instalace HPC Packu na hlavní nod je vybrání edice, kterou chceme instalovat. V dalším kroku je na výběr, co chceme s HPC Packem dělat — Create a new HPC cluster by creating a head node, tedy vytvoření nového HPC clusteru vytvořením hlavního nodu. Dalšími možnostmi jsou připojení k existujícímu clusteru vytvořením nového výpočetního nodu, připojení k existujícímu clusteru vytvořením WCF broker nodu, připojení k existujícímu clusteru vytvořením workstation nodu a instalace pouze nástrojů pro správu clusteru (HPC Cluster Manager, HPC Job Manager a HPC PowerShell). Vybereme tedy první možnost.

Dalším krokem instalace je výběr umístění databáze s informacemi o clusteru. Doporučení Microsoftu je použití lokální databáze na hlavním nodu, pokud se cluster skládá z méně než 256 nodů, jinak použití samostatného databázového serveru. Pokud zvolíme první možnost, může být součástí instalace HPC Packu také instalace SQL Server 2008 a vytvoření instance databáze.

Zbývá dokončit poslední nastavení, kterými jsou vytvoření jména clusteru a zvolení umístění databáze a dalších souborů HPC Packu.

Po instalaci HPC Packu je důležité ověřit, že je nainstalovaná poslední verze Service Pack. Aktuálně je to verze 4. Ověření je možné provést například v HPC Manageru v menu Help -> About, kde druhé číslo v označení verze značí verzi SP (3.4.4169.0).

Konfigurace clusteru v HPC Manageru

Konfigurace sítě

Při konfiguraci sítě je možné zvolit z pěti různých topologií:

  1. Compute node isolated on a private network, která se používá pro oddělenou privátní síť vyhrazenou pouze pro výpočetní nody. Výpočetní nody nejsou součástí žádné jiné sítě a jsou připojeny vyhrazeným síťovým rozhraním k serveru. Pro tuto konfiguraci je tedy nutné mít minimálně dvě síťová rozhraní na hlavním nodu.
  2. All nodes on enterprise and private networks, která se používá v případě, že všechny nody jsou připojeny k privátní i neprivátní síti, přičemž privátní síť se využívá pouze pro potřeby clusteru. Tato konfigurace vyžaduje minimálně dvě síťová rozhraní na hlavním nodu i na výpočetních nodech.
  3. Compute nodes isolated on private and application networks využívá dvě sítě pro cluster, kdy jedna síť je vyhrazena pro komunikaci aplikací (výpočtů) a druhá pro správu clusteru. Konfigurace vyžaduje minimálně dvě síťová rozhraní na výpočetních nodech a minimálně tři síťová rozhraní na hlavním nodu.
  4. All nodes on enterprise, private, and application networks je založená na třech sítích. Jedna síť slouží pro komunikaci aplikací (výpočtů), druhá pro správu clusteru a třetí je běžná firemní síť. V této konfiguraci jsou vyžadovány minimálně tři síťová rozhraní na výpočetních nodech i hlavním nodu.
  5. All nodes only on an enterprise network je konfigurace, která předpokládám připojení všech nodů do jedné firemní sítě, stačí tedy jedno síťové rozhraní na hlavním nodu i na výpočetních nodech.

Dalším krokem konfigurace sítě je zvolení síťového rozhraní serveru, které bude použité pro výpočetní cluster. Posledním krokem konfigurace sítě je nastavení firewallu. Na výběr je ze dvou možností. První doporučenou možností je automatická konfigurace firewallu na výpočetních nodech i hlavním nodu pro potřeby, druhou možností je ponechání nastavení firewallu v aktuálním stavu. Následuje již jen přehled provedených nastavení a potvrzení.

Poskytnutí přihlašovacích údajů správce

V další části prvotní přípravy clusteru je potřeba zadat údaje doménového účtu, který má administrátorská oprávnění pro instalaci software a správu všech stanic.

Konfigurace jmen výpočetních nodů

Pro snadnější správu se pro všechny výpočetní nody nastavují jména, která se automaticky generují všem nově přidaným výpočetním nodům. Jmenná šablona má tvar %číslo%, například tedy pro číslovací šablonu %00% bude číslování probíhat od 00 do 99.

Vytvoření šablony pro nody

Šablony slouží pro zjednodušení přidávání, konfigurace a správy nodů v clusteru. Pokud je nějaká šablona nodům přiřazena, jsou na tyto nody automaticky aplikována pravidla definovaná v této šabloně.

Pomocí šablon je možné například definovat dostupnost výpočetních nodů, spravovat aktualizace pomocí Windows Update nebo WSUS, přidávat nody do domény Active Directory, spravovat sdílené jednotky připojené na výpočetních nodech a další. Součástí šablon mohou být i předpřipravené obrazy systémů, které je díky tomu možné snadno nasadit včetně přidání aktualizací, aktivačních klíčů apod.

Existují čtyři základní typy šablon:

  1. Compute node template se používá pro výpočetní nody, které jsou trvale dostupné. Tento typ nodů umí přijímat a spouštět výpočetní úlohy a akceptuje SOA požadavky od broker nodů.
  2. Broker node template přijímá požadavky od Service-Oriented Architecture (SOA) klientů, distribuuje tyto požadavky na výpočetní nody klastru, sbírá odpovědi a posílá je zpět klientům. Broker nod musí být připojený do firemní sítě.
  3. Workstation node template slouží pro pracovní stanice, které budou využívány pro výpočty. Tato šablona jako jediná umožňuje definovat dostupnost výpočetních nodů. U Workstation node template je možné pomocí rozvrhu definovat, kdy budou nody v této šabloně dostupné a kdy ne. Po instalaci SP1 na HPC Pack je možné nastavit změnu stavu na základě detekce uživatelské aktivity. Pokud je detekce aktivity aktivována, všechny výpočetní úlohy běží s prioritou BelowNormal nebo nižší.
  4. Windows Azure node template umožňuje napojení na Windows Azure a správu Windows Azure výpočetních nodů.

Instalace Microsoft HPC Pack na výpočetní nody

Na všechny výpočetní nody je nutné nainstalovat Microsoft HPC Pack. Instalace probíhá stejně jako na hlavním nodu, jen v druhém kroku instalace vybereme možnost připojení do existujícího clusteru a v dalším kroku vybereme dříve definovaný název clusteru. Důležitá je opět aktualizace na poslední Service Pack.

Přidání výpočetních nodů do clusteru

Před prvním použitím clusteru pro výpočty je nutné všechny nově nainstalované nody přidat do HPC Cluster Manageru a publikovat tyto nody pro výpočty. Nově nainstalované nody jsou v HPC Cluster Manageru zařazeny do kategorie Unapproved a je potřeba jim přidělit šablonu. Šablonu přiřadíme označením všech nodů v kategorii Unapproved a zvolením Assign Node Template, kde vybereme dříve vytvořenou šablonu. Aplikováním šablony dojde k přesunutí všech nodů do kategorie OK. Pokud by se aplikace šablony nepodařila například z důvodu nedostupnosti daného nodu, bude nod přesunutý do kategorie Error a rozklinutím daného nodu je možné na záložce Node Health vidět důvod chyby.

Přidání oprávněných uživatelů a skupin

Aby uživatelé mohli zadávat úlohy, musí být ve skupině Users v HPC Cluster Manageru. Stejně tak je potřeba přidat uživatele i do oprávněných pro vzdálenou plochu, aby se mohly na cluster připojit a spravovat své úlohy.

Konfigurace plánovače úloh

V menu Options -> Job Scheduler Configuration můžeme nastavit, jak se má plánovač chovat k výpočetním úlohám. Zde je možné nastavit například přidělování prostředků jednotlivým úlohám, úroveň preempce, e-mailové notifikace pro úlohy, odchytávání chyb, pravidla pro uchovávání úloh v historii apod.

U zasílání e-mailových notifikací je důležité zmínit, že notifikace fungují korektně pouze tehdy, pokud má příjemce notifikace schránku na Microsoft Exchange. V ostatních případech jsou notifikace nečitelné, obsahují pouze prázdnou zprávu.

Mým primárním zaměřením je bezpečnost identit, zařízení a dat v cloudu pomocí služeb, technologií a nástrojů společnosti Microsoft.

Komentáře 0
Nejsou zde žádné komentáře.