Съдържание
е уики, което означава, че много статии са написани от няколко автори. За създаването на тази статия 18 души, някои анонимни, участваха в нейното издание и неговото подобряване във времето.Имате ли нужда от машина, която трябва да прави стотици милиарди изчисления с плаваща запетая в секунда? Имате ли нужда от история, за да обясните как вашият суперкомпютър в мазето взриви прекъсвача? Изграждането на клъстер (или клъстер) на високоефективни компютри е предизвикателство, което всеки експерт може да преодолее през уикенда със съответния бюджет. От техническа гледна точка, съвременен мултипроцесорен суперкомпютър е мрежа от компютри, които работят паралелно за решаване на проблем. Следвайки прости стъпки за монтиране на оборудването и инсталиране на необходимия софтуер, вие също можете да имате суперкомпютър.
етапи
-
Определете необходимото оборудване и ресурси. Ще ви трябва главен възел, най-малко дванадесет други еднакви възли, Ethernet превключвател, блок за захранване и рафт. Определете нуждите си от електричество, охлаждане и пространство. Също така трябва да решите кой IP адрес искате да използвате за вашите частни мрежи, имената на възлите, софтуера, който искате да инсталирате, и технологията, която искате за изчислителни възможности (ще се върнем на това по-късно).- Дори ако хардуерът ще ви струва скъпо, целият софтуер, представен в тази статия, е безплатен и повечето са без права.
- Ако искате да добиете представа колко бързо може да достигне един суперкомпютър, можете да използвате този инструмент: http://hpl-calculator.sourceforge.net/.
-
Инсталирайте възлите. Ще трябва да сглобите възлите или да получите предварително сглобени сървъри.- Изберете сървърно шаси с много място, подходяща система за охлаждане и енергийна оптимизация.
- Можете също така да използвате десетина стари сървъри, като сумата от тях ще надвиши мощността на отделни единици и ще спестите много пари. Всички процесори, мрежови адаптери и дънни платки трябва да бъдат идентични, за да функционира цялата система безпроблемно. Разбира се, не трябва да забравяте оперативната памет и съхранението за всеки от възлите, както и поне едно дисково устройство за главата.
-
Инсталирайте сървърите на рафта. Започнете отдолу, ако горната част на рафта не е претеглена. Ще ви трябва и приятел, който да ви помогне, сървърите могат да бъдат тежки и ще е трудно да ги насочите по релсите на рафта. -
Инсталирайте Ethernet превключвателя отгоре на шасито. Отделете време, за да го конфигурирате. Разрешете джъмбо рамка с размер 9000 байта, задайте IP адресите на статичните адреси, които сте избрали в първата стъпка, и деактивирайте ненужните протоколи, като SMTP snooping. -
Инсталирайте текущото устройство. В зависимост от това колко ток ще са ви нужни възлите, вероятно ще ви трябва 220-волтова единица. -
Конфигурирайте хардуера. След като инсталирате всичко, можете да започнете да конфигурирате хардуера. Linux е операционната система по подразбиране за HPC клъстери, не само защото е най-добрата среда за научни изчисления, но и защото е напълно безплатна за инсталиране на стотици или хиляди възли. Представете си цената, която ще платите, ако трябваше да инсталирате Windows на всеки от тези възли.- Започнете с инсталирането на най-новия фърмуер за BIOS и дънна платка, който трябва да бъде еднакъв за всички дънни платки.
- Инсталирайте предпочитаната от вас Linux дистрибуция на всеки от възлите и дистрибуция с графичен интерфейс на главния възел. Често се използват CentOS, OpenSuse, Scientific Linux, RedHat или SLES.
- За тази статия горещо препоръчваме Rocks Cluster. В допълнение към инсталирането на всички инструменти, необходими, за да работят клъстерите правилно, Rocks използва отличен метод за бързо "разпределение" на много случаи от себе си до възли, използвайки PXE зареждането и процедурата за бързо стартиране на маслото от червено дърво.
-
Инсталирайте софтуера. Инсталирайте интерфейс за предаване, управление на ресурси и други необходими библиотеки. Ако не сте инсталирали Rocks в предишната стъпка, ще трябва ръчно да конфигурирате целия необходим софтуер, за да активирате паралелните изчислителни механизми.- Първо, ще ви трябва система за управление на баш, като Torque Resource Manager, която ви позволява да разделите и разпределите различни задачи на множество машини.
- Въртящ момент с Maui Cluster Scheduler за завършване на конфигурацията.
- След това ще трябва да инсталирате интерфейса на подателя, който е необходим за процесите на различни машини за споделяне на едни и същи данни. Инсталирайте OpenMP, много е лесен за използване.
- Не забравяйте многопоточни библиотеки и компилатори, за да създадете паралелни програми за изчисление. За пореден път Rocks е най-доброто решение.
-
Свържете възлите в мрежа. Главният възел изпраща задачите, които трябва да бъдат изпълнени, към другите изчислителни възли, които ще върнат резултатите, докато изпращат съобщения един към друг. Колкото по-бързо върви, толкова по-добре.- Използвайте частна Ethernet мрежа, за да свържете всички тези възли в клъстер.
- Главният възел също може да действа като NFS, PXE, DHCP, TFTP и NTP сървър в мрежата, която създавате.
- Трябва да отделите тази мрежа от обществени мрежи, за да гарантирате, че пакетите, които сървърите обменят, не пречат на пакетите, разменени през останалата част от мрежата.
-
Тествайте клъстера. Последното нещо, което трябва да направите, преди да освободите цялата сила на вашия суперкомпютър, е да тествате неговата производителност. Тестът за висока производителност Lynpack (HPL) е популярен избор за измерване на изчислителната скорост на компютърен клъстер. Ще трябва да го компилирате от неговия източник с всички оптимизации, които вашият компилатор предлага според архитектурата, която сте избрали.- Очевидно трябва да го компилирате от източника, който ви дава най-много възможности за оптимизиране на вашата платформа. Например, ако използвате AMD процесори, компилирайте го с Open64, като изберете ниво на оптимизация -0 Fast.
- Сравнете резултатите на TOP500.org, за да видите дали вашият суперкомпютър може да се конкурира с 500-те най-мощни суперкомпютри в света!
- За да достигнете наистина бързи скорости в мрежата, разберете за интерфейсите на InfiniBand. Въпреки това, пригответе се да разбиете прасенцата.
- IPMI може да улесни администрирането в голям мащаб, като ви осигури KVM-over-IP, отделен цикъл на захранване и други.
- Използвайте Ganglia за проследяване на компютърните натоварвания на възлите.
- Уверете се, че вашата инфраструктура може да поддържа натоварването.