Кластерні системи

Розвиток кластерних систем (КС) у Росії

Кластер - це модульна багатопроцесорна система, створена на базі стандартних обчислювальних вузлів, з'єднаних високошвидкісний комунікаційним середовищем. Зараз слова «кластер» і «суперкомп'ютер» значною мірою синоніми, але перш ніж про це стало можна з упевненістю говорити, апаратні засоби пройшли тривалий цикл еволюції. Протягом перших 30 років з моменту появи комп'ютерів, аж до середини 1980-х рр.., Під «суперкомп'ютерних» технологіями розуміли виключно виробництво спеціалізованих особливо потужних процесорів. Однак поява однокристального мікропроцесора практично стер різницю між «масовими» і «особливо потужними» процесорами, і з цього моменту єдиним способом створення суперкомп'ютера став шлях об'єднання процесорів для паралельного розв'язання одного завдання. Олексій Лацис, один з творців російського суперкомп'ютера МВС-1000М, у своїй книзі «Як побудувати і використовувати суперкомп'ютер» називає це «першої суперкомп'ютерної революцією».

Приблизно до середини 1990-х рр.. основний напрям розвитку суперкомп'ютерних технологій було пов'язано з побудовою спеціалізованих багатопроцесорних систем з масових мікросхем. Один з сформувалися підходів - SMP (Symmetric Multi Processing), мав на увазі об'єднання багатьох процесорів з використанням загальної пам'яті, що сильно полегшувало програмування, але подавала високі вимоги до самої пам'яті. Зберегти швидкодія таких систем при збільшенні кількості вузлів до десятків було практично неможливо. Крім того, цей підхід виявився найдорожчим в апаратній реалізації. На порядок більш дешевим і практично нескінченно масштабованим виявився спосіб МРР (Massively Parallel Processing), при якому незалежні спеціалізовані обчислювальні модулі об'єднувалися спеціалізованими каналами зв'язку, причому і ті й інші створювалися під конкретний суперкомп'ютер і ні в яких інших цілях не застосовувалися.

Ідея створення так званого кластеру робочих станцій фактично стала розвитком методу МРР, адже логічно МРР-система не сильно відрізнялася від звичайної локальної мережі. Локальна мережа стандартних персональних комп'ютерів, при відповідному ПЗ використовувалася як багатопроцесорний суперкомп'ютер, і стала прародителькою сучасного кластеру. Ця ідея отримала більш досконале втілення в середині 1990-х рр.., Коли завдяки повсюдному оснащення ПК високошвидкісною шиною PCI і появі дешевої, але швидкої мережі. Fast Ethernet кластери стали наздоганяти спеціалізовані МРР-системи по комунікаційних можливостей. Це означало, що повноцінну МРР-систему можна було створити з стандартних серійних комп'ютерів за допомогою серійних комунікаційних технологій, причому така система обходилася дешевше в середньому на два порядки.

Ось самі знамениті суперкомп'ютери з кластерної архітектурою «першого покоління»: Beowulf (1994, NASA Goddard Space Flight Center) - 16-процесор-ний кластер на процесорах Intel 486DX4/100 МГц; Avalon (1998, Лос-Аламоської національної лабораторії) - Linux- кластер на базі процесорів Alpha 21164А/533 МГц. Спочатку Avalon складався з 68 процесорів, потім їх число збільшилося до 140; його продуктивність на тесті LINPACK 48,6 GFlops * дозволила йому зайняти 113-е місце в 12-й редакції рейтингу самих потужних комп'ютерів світу Тор500 поруч з 152-процесорної SMP-системою IBM RS/6000 SP. Першою вітчизняною системою, що увійшла в ТорбОО, став кластер МВС-1000М, виготовлений НДІ «КВАНТ» та Інститутом прикладної математики Російської академії наук. Він складався з 384 вузлів на базі процесорів Alpha 21164 компанії DEC-Compaq.

* Flops (floating point operations per second) - кількість операцій з плаваючою крапкою в секунду, одиниця виміру продуктивності суперкомп'ютерів. GFlops (гігафлопс) - мільярд операцій з плаваючою крапкою в секунду; TFlops (терафлопс) - трильйон операцій з плаваючою крапкою в секунду. Реальна продуктивність самого потужного на сьогодні суперкомп'ютера перевищує 136 TFlops; всього рік тому цей показник становив 35 TFlops.

Розрізняють пікову і реальну продуктивність суперкомп'ютерів. Пікова продуктивність багатопроцесорної системи (кластера, SMP-системи і т. д.) - теоретичне значення, недосяжне на практиці. Воно виходить множенням пікової продуктивності процесора на число процесорів в системі. Пікова продуктивність ЦП в загальному випадку виходить шляхом множення його тактової частоти на максимальне число операцій, виконуваних за один такт. Реальна продуктивність кластеру - це продуктивність, отримана при вирішенні реальної задачі (академічної або промислової). Наприклад, системи в рейтингу Тор500 ранжуються за результатами тесту LINPACK - реальної академічної завдання на рішення системи лінійних рівнянь.

Новий потужний поштовх розвитку кластерних технологій, крім появи більш досконалих комунікаційних мереж, дав швидке зростання продуктивності знову випущених масових процесорів, що зробило високопродуктивні рішення доступними як ніколи. Наприклад, «СКІФ К-500», другий вітчизняний кластер, який увійшов в ТорбОО, побудований на базі 128 процесорів Intel Xeon і системної мережі SCI. Побудований восени 2003 р. для російсько-білоруського державного суперкомп'ютерної програми «СКІФ», цей кластер зайняв в рейтингу 407-е місце з реальною продуктивністю в 423,6 GFlops. Другий «топовий» кластер державної програми, «СКІФ К-1000» на базі 576 процесорів AMD Opteron і системної мережі InfiniBand, з'явився в жовтні 2004 р. і увійшов до першої сотні Тор500 з реальною продуктивністю 2,032 TFlops. Обидва кластеру «СКІФ», встановлених в Білорусії, побудовані компанією «Т-Платформи» за участю ІПС РАН і білоруських партнерів і використовують російські суперкомп'ютерні технології. Найпотужніший на даний момент кластер на території Росії - МВС 15000БМ з реальною продуктивністю більше 5,3 Tflops, він займає 56-е місце в Тор500 і встановлений в Міжвідомчій суперкомп'ютерному центрі (МСЦ РАН). Кластер побудований з обчислювальних вузлів компанії IBM на базі процесорів PowerPC і системної мережі Myrinet.

Бурхливий розвиток кластерних технологій за останні роки добре видно з аналізу списку Тор500: з 2000 по 2004 р. частка кластерів у списку збільшилася з 2,2 до 60,8%. Якщо в 2000 р. в числі 40 найбільш потужних установок були присутні лише два кластери (найпотужніший - 31-е місце), то до 2004 р. їх число серед перших 40 машин склало 24). При цьому, за даними останньої редакції Тор500, більш 71,5% процесорів, використаних для ерзданія суперкомп'ютерів, - це масово випускаються процесори компаніями Intel і AMD.

Кластерні технології застосовуються і в новітніх суперкомп'ютерних розробках провідних виробників: наприклад, в найпотужнішому на сьогодні суперкомп'ютері IBM BlueGene / L із продуктивністю більше 136 TFlops використані багато елементів кластерної архітектури.

Сфера застосування кластерних систем зараз аніскільки не вже, ніж суперкомп'ютерів з іншого архітектурою: вони не менш успішно справляються із завданням моделювання найрізноманітніших процесів і явищ. Суперкомп'ютерному моделювання може в багато разів здешевити і прискорити виведення на ринок нових продуктів, а також поліпшити їх якість. Наприклад, замість того щоб будувати дорогі тестові моделі нових автомобілів, щоб потім розбити їх об стінку заради проведення інженерних розрахунків, можна швидше і точніше все порахувати на комп'ютерних моделях. Завдяки цьому багатьом західним автомобільним концернам вдалося скоротити термін розробки нової моделі автомобіля в п'ять разів - з 10 до 2 років. Комп'ютерна обробка геофізичних даних дозволяє створювати високодеталізованих моделі нафтових і газових родовищ, забезпечуючи більш ефективну, безпечну і дешеву розробку свердловин.

Саме розвиток кластерних технологій зробили високопродуктивні обчислення широко доступними і дозволило самим різним підприємствам скористатися їх перевагами. Ось як розподіляються області застосування 500 найпотужніших комп'ютерів світу: 44,3% - добувна, електронна, автомобільна, авіаційна та інші галузі важкої промисловості та машинобудування, трохи більше 20% - наука і освіта, суперкомп'ютерні центри. Більше 18% припадає на погодні та кліматичні дослідження, 7% - ядерні, космічні, енергетичні та військові державні програми, 3,5% - фінансові компанії та банки. Крім того, у списку є компанії та організації, що займаються медициною і розробкою нових ліків, комп'ютерною графікою, перевезеннями, торгівлею, виробництвом продуктів харчування, консалтингом і державним управлінням.

Що стосується використання суперкомп'ютерів у Росії, то в поточному рейтингу суперкомп'ютерів СНД Тор50, вперше виданій у грудні 2004 р., представлені лише три класи користувачів: наукові інститути та університети, підприємства, зайняті у важкій і нафтовидобувної промисловості, а також фінансові структури.

У середньому вітчизняні суперкомп'ютери поки ще дуже поступаються західним за продуктивності: машини, які використовуються для наукових досліджень, в 15 разів, обчислювальні ресурси фінансових компаній - у 10 разів, промислові суперкомп'ютери - у 9 разів. Проте вже друга редакція списку Тор50, опублікована в квітні 2005 р., демонструє швидкий розвиток галузі. Так, кількість систем, що працюють в промисловій сфері, збільшилася з 2 до 16%, причому їх середня продуктивність виросла відразу на 135%. Число суперкомп'ютерів фінансових компаній і банків також зросла з 2 до 18%. Частка комп'ютерів, які використовуються для наукових досліджень, скоротилася з 96 до 66%, а їх середня продуктивність зросла на 70%. У цілому друга редакція вітчизняного суперкомп'ютерного рейтингу демонструє істотне зростання частки систем комерційного використання. Найбільша кількість вітчизняних суперкомп'ютерів поставлено фірмою IBM (26%), але російські виробники лише трохи поступаються їй.

Кластерні системи - статистика

Нижче наведений порівняльний аналіз оснащеності суперкомп'ютерами підприємств СНД і найбільш розвинених світових держав у різних галузях економіки на основі світового суперкомп'ютерного рейтингу Тор500 і рейтингу найпотужніших комп'ютерів СНД Тор50, а також порівняння першої та другої редакцій рейтингу Тор50 за цим показником.

Порівняльні дані по використанню суперкомп'ютерів

Порівняльні дані по продуктивності суперкомп'ютерів

Типові завдання кластерних систем

Сьогодні можна говорити про те, що кластерні системи успішно застосовуються для всіх завдань суперкомпьютінга - від розрахунків для науки і промисловості до управління базами даних. Практично будь-які додатки, що вимагають високопродуктивних обчислень, мають зараз паралельні версії, які дозволяють розбивати завдання на фрагменти і обраховувати її паралельно на багатьох вузлах кластеру. Наприклад, для інженерних розрахунків (розрахунки на міцність, аеромеханіка, гідро-та газодинаміка) традиційно застосовуються так звані сіткові методи, коли область обчислень розбивається на клітинки, кожна з яких стає окремою одиницею обчислень. Ці осередки обраховуються незалежно на різних вузлах кластера, а для одержання загальної картини на кожному кроці обчислень відбувається обмін даними, поширеними в прикордонних областях.

Для практичних розрахунків (3D-анімація, креш-тести, розвідка нафтових і газових родовищ, прогнозування погоди) зазвичай використовуються кластери з 10-200 вузлів. При цьому основне завдання - забезпечення ефективної роботи кластера з конкретним додатком. Архітектура кластеру повинна забезпечувати масштабованість ПЗ при збільшенні кількості вузлів, тобто приріст продуктивності при додаванні нових обчислювальних модулів. Для цього важливо правильно вибрати конфігурацію кластеру в залежності від профілю обміну даними між екземплярами програми, запущеними на різних вузлах. Тут потрібно брати до уваги загальний обсяг даних, що пересилаються, розподіл довжин повідомлень, використання групових операцій і т. п.

Сьогодні навіть ті завдання, для вирішення яких традиційно застосовувалися багатопроцесорні системи зі спільною пам'яттю, такі, як управління великими базами даних, успішно вирішуються на кластерах. Поява на ринку таких продуктів, як, наприклад, Oracle RAC (Real Applications Cluster), дало можливість застосовувати кластерні системи в області баз даних, а нова версія СУБД Oracle 10g, побудована на базі GRID-технологій, забезпечує максимально ефективне використання кластерної архітектури для вирішення цих завдань. Таким чином, завдяки доступності кластерних рішень число підприємств, які можуть дозволити собі кардинально спростити і прискорити роботу з корпоративною базою даних, істотно збільшується.

Кластерні рішення - найбільш економічно обгрунтований вибір. На відміну від більшості серверних систем зі спільною пам'яттю кластерні рішення легко масштабуються до систем більшої продуктивності. Таким чином, при жорсткості вимог замовника до продуктивності необов'язково купувати нову систему - можна додати стандартні обчислювальні вузли і легко наростити стару. Причому діапазон масштабованості дуже широкий: наприклад, 288-вузловий кластер «СКІФ К-1000» з піковою продуктивністю 2,5 TFlops можна наростити до системи потужністю 30 TFlops шляхом об'єднання стандартних обчислювальних модулів.

Кластерні рішення володіють найкращим на сьогодні співвідношенням ціна / проізводітелиюсть і мають істотно більш низьку сукупну вартість володіння. Це досягається завдяки масштабованості та використання стандартних загальнодоступних компонентів, ціна яких постійно знижується. Два кластерних двопроцесорних вузла в середньому на 35% дешевше, ніж один чотирипроцесорних SMP-сервер, причому із зростанням кількості процесорів перевагу кластерних рішень по цьому параметру збільшується. Крім того, кластерна архітектура забезпечує прекрасну відмовостійкість системи: при виході з ладу одного або декількох обчислювальних модулів (або вузлів) кластер не втрачає працездатності і нові завдання можуть бути запущені на меншій кількості вузлів. Що вийшов з ладу вузол легко і швидко виймається з стійки і замінюється новим, який відразу ж включається в роботу. Це можливо завдяки комутованій топології сучасних системних мереж, «коли обмін повідомленнями між двома вузлами може йти багатьма шляхами. У ході експлуатації система типу «СКІФ К-1000» передбачає можливий вихід з ладу не більше 2 вузлів на рік.

Архітектура кластерних систем

Отже, в даний час кластер складається з обчислювальних вузлів на базі стандартних процесорів, з'єднаних високошвидкісний системної мережею (інтер-коннектом), а також, як правило, допоміжного та сервісної мережами. Більшість кластерних систем списку Тор500 виконані на процесорах Intel (Intel Xeon, Intel Xeon EM64T, Intel Itanium 2). Часто використовуються процесори Power і PowerPC компанії IBM. Останнім часом популярністю користуються процесори AMD (особливо AMD Opteron і його нещодавно вийшла двоядерний версія).

В якості обчислювальних вузлів найчастіше використовуються двопроцесорні SMP-сервери в корпусі від 1U до 4U, зібрані в 19-дюйм стійки. Компактні пристрої дозволяють створювати високопродуктивні рішення з максимальною питомою щільністю, більші - недорогі системи. Іноді провідні виробники пропонують власний формфактор: наприклад, IBM, Verari, LinuxNetworx і інші компанії пропонують обчислювальні вузли на основі блейд-технологій, які забезпечують високу щільність установки, але здорожують рішення. На російському ринку блейд-рішення поки мало затребувані із-за їх високої вартості.

Кожен вузол працює під керуванням своєї копії стандартної операційної системи, в більшості випадків - Linux. Склад і потужність вузлів можуть бути різними в рамках одного кластера, однак частіше будуються однорідні кластери. Вибір конкретної комунікаційного середовища (інтерконнекту) визначається багатьма чинниками: особливостями розв'язуваних задач, доступним фінансуванням, вимогами до масштабованості і т. п. У кластерних рішеннях застосовуються такі технології інтерконекту, як Gigabit Ethernet, SCI, Myrinet, QsNet, InfiniBand.

Кластер - це складний програмно-апаратний комплекс, і завдання побудови кластеру не обмежується об'єднанням великої кількості процесорів в один сегмент. Для того щоб кластер швидко і правильно вважав завдання, всі комплектуючі повинні бути ретельно підібрані один до одного з урахуванням вимог програмного забезпечення, тому що продуктивність кластерного ПЗ сильно залежить від архітектури кластера, характеристик процесорів, системної шини, пам'яті і інтерконекту. Використання тих чи інших компонентів сильно залежить від завдання, для якої будується кластер. Для деяких добре розпаралелюваних завдань (таких, як рендеринг незалежних сюжетів у відеофрагменті) основний фактор швидкодії - потужний процесор, і продуктивність інтерконекту не грає основної ролі. У той же час для задач гідро-і аеродинаміки, розрахунку креш-тестів важлива продуктивність системної мережі, інакше збільшення числа вузлів в кластері буде мало впливати на швидкість вирішення завдання.

Системна мережу, або високошвидкісна комунікаційне середовище, виконує завдання забезпечення ефективності обчислень. Gigabit Ethernet - найбільш доступний тип комунікаційного середовища, оптимальне рішення для завдань, які потребують інтенсивних обмінів даними (наприклад, візуалізація тривимірних сцен або обробка геофізичних даних). Ця мережа забезпечує пропускну здатність на рівні MPI * (близько 70 Мбайт / с) і затримку (час між відправленням і отриманням пакету з даними) приблизно 50 мкс. Myrinet - найбільш поширений тип комунікаційного середовища з пропускною здатністю до 250 Мбайт / с і затримкою 7 мкс, а нове, нещодавно анонсований ПЗ для цієї мережі дозволяє скоротити цю цифру в два рази. Мережа SCI відрізняється невеликими затримками - менше 3 мкс на рівні MPI - і забезпечує пропускну здатність на рівні MPI від 200 до 325 Мбайт / с. QsNet - дуже продуктивне і дороге устаткування, що забезпечує затримку менше 2 мкс і пропускну здатність до 900 Мбайт / с. Найбільш перспективна на сьогодні технологія системної мережі - InfiniBand. Її поточна реалізація має пропускну здатність на рівні MPI до 1900 Мбайт / с і час затримки від 3 до 7 мкс. Один з найбільш цікавих продуктів, що з'явилися останнім часом, - високошвидкісний адаптер компанії PathScale, який реалізує стандартні комутатори та кабельну структуру InfiniBand, використовуючи власний транспортний протокол. Це дозволило досягти рекордно низького часу затримки - 1,3 мкс.

* MPI - найбільш поширений і продуктивний протокол передачі повідомлень в кластерних системах, а також інтерфейс програмування для створення паралельних програм.

Зараз існують два способи внутрішнього устрою стандартних системних мереж. Наприклад, мережа SCI має топологію двох-або тривимірного тора і не вимагає застосування комутаторів, що зменшує вартість системи. Проте ця технологія має істотні обмеження по масштабованості.

Решта загальнодоступні високошвидкісні технології системних мереж Myrinet, QsNet, InfiniBand використовують комутовану топологію Fat Tree. Обчислювальні вузли кластера з'єднуються кабелями з комутаторами нижнього рівня (leaf, або edge switches), які в свою чергу об'єднуються через комутатори верхнього рівня (core, або spine switches). При такій топології є багато шляхів передачі повідомлень між вузлами, що дозволяє підвищити ефективність передачі повідомлень завдяки розподілу завантаження при використанні різних маршрутів. Крім того, за допомогою Fat Tree можна об'єднати практично необмежену кількість вузлів, зберігши при цьому хорошу масштабованість додатків.

Завдання ефективного доступу вузлів до даних (наприклад, до зовнішнього сховища) найчастіше вирішується за допомогою допоміжної мережі (як правило, Gigabit Ethernet). Іноді для цього застосовують канали Fibre Channel (це значно збільшує вартість системи) або системну мережу (наприклад, InfiniBand у кластерах баз даних). Допоміжна (або сервісна) мережа також відповідає за розподіл завдань між вузлами кластеру та управління роботою завдань. Вона використовується для файлового обміну, мережевий завантаження ОС вузлів і управління вузлами на рівні ОС, в тому числі моніторингу температурного режиму та інших параметрів роботи вузлів. Сервісна мережа застосовується і для так званого керування вузлами out-of-band, тобто без участі операційної системи. До нього відносяться «плавне», послідовне включення і виключення вузлів вр уникнути великого стрибка напруги, апаратне скидання вузла і доступ до його консолі на всіх етапах роботи, що дозволяє діагностувати поломки в недоступних вузлах, змінювати налаштування ОС та ін Провідні виробники суперкомп'ютерів, такі , як IBM, SUN, HP, вводять до складу вузла спеціальні плати, що дозволяють здійснювати управління out-of-band, які в перерахунку на весь кластер досить дорогі. На щастя, є набагато більш доступне російське рішення з аналогічною функціональністю - мережа ServNet, розроблена в Інституті програмних систем РАН і успішно застосовується у вітчизняних кластерних системах, зокрема в кластерах «СКІФ». Компактна плата ServNet (всього 66х33 мм) легко вбудовується в обчислювальний вузол і дозволяє, крім усього перерахованого вище, змінювати параметри BIOS вузла, вибирати завантажувану ОС, змінювати параметри завантаження ядра Linux, контролювати критичні повідомлення ОС і проводити «посмертне» читання (з енергонезалежної пам'яті плати ServNET) кількох останніх повідомлень ОС.

Суперкомп'ютери - це завжди дуже великі потужності. У ситуації, що склалася вже неможливо розглядати високопродуктивні обчислювальні системи окремо від систем їх розміщення, охолодження та електроживлення. Наприклад, «СКІФ К-1000» споживає понад 89 кВт, і практично все йде в тепло. Такої потужності було б достатньо для обігріву невеликого будинку, але все 288 вузлів формфактора 1U стоять у восьми стійках, і без продуманого теплового дизайну не обійтися. У перших суперкомп'ютерах використовувалося рідинне охолодження, але такі охолоджувальні системи нерідко виходили з ладу. У сучасних суперкомп'ютерах застосовують повітряне охолодження, і необхідний температурний режим забезпечується двома факторами. По-перше, продуманим тепловим дизайном обчислювального вузла: стандартні шасі необхідно модернізувати для того, щоб повітряний потік, створюваний внутрішніми вентиляторами, максимально ефективно охолоджував процесори. По-друге, підтриманням робочої температури в приміщенні: гаряче повітря повинен бути або відведений від вузлів і кондиціонований, або виїхали за межі приміщення.

Оптимізація енергоспоживання - не менш серйозне завдання. На думку світових експертів, при сучасних темпах зростання продуктивності систем і збереженні характеристик їх енергоспоживання вже до 2010 р. самі потужні суперкомп'ютери будуть споживати стільки енергії, що забезпечити її подачу і відведення тепла буде неможливо. Проте проблема забезпечення безперебійного живлення існує і для систем з середньою продуктивністю, і кожен виробник вирішує її по-своєму.

Класифікація кластерних систем

Кластерні системи можуть використовувати самі різні платформи і типи інтерконектом л, як правило, класифікуються не по набору комплектуючих, а по областях застосування. Виділяють чотири типи кластерних систем: обчислювальні кластери, кластери баз даних, відмовостійкі кластери та кластери для розподілу завантаження. Найчисленніша група - обчислювальні кластери. Вона може бути розділена на підгрупи; правда, класифікації усередині цієї групи підлягають вже не власне обчислювальні машини, а готові програмно-апаратні кластерні рішення. Такі системи «під ключ» мають передвстановлене прикладне ПЗ, необхідне замовнику для вирішення його завдань. Рішення, оптимізовані для різних додатків, розрізняються підбором компонентів, що забезпечує найбільш продуктивну роботу саме цих додатків при найкращому співвідношенні ціна / якість.

Основні типи готових рішень у світовій практиці:

промислові кластери для інженерних завдань;

кластери для нафто-і газодобувної промисловості;

кластери для досліджень в області «наук про життя», або life sciences (пошук нових ліків, генетика, молекулярне моделювання, біоінформатика);

кластери для стратегічних досліджень (дослідження погоди і клімату, ядерна фізика та фізика частинок, космічні дослідження, оборонні програми);

кластери для індустрії розваг (комп'ютерна графіка і спецефекти, комп'ютерні онлайнові ігри);

грід-рішення *;

кластери для високопродуктивних обчислень в різних областях науки і освіти.

Кластери баз даних з'явилися недавно. Ці системи працюють з паралельними версіями баз даних і використовуються у великих організаціях для роботи CRM-і ERP-систем, а також трапзакціонних баз даних. Сьогодні ці системи - серйозний конкурент традиційним серверів із загальною пам'яттю завдяки кращому співвідношенню ціна / продуктивність, масштабованості і відмовостійкості.

Відмовостійкі кластери будують для того, щоб найкращим чином забезпечити надійність роботи критично важливих додатків. Робота додатка дублюється на різних вузлах, і в разі помилки на одному з них додаток продовжує працювати або автоматично перезапускається на іншому. Такі кластери не бувають великими, і користувачі часто будують їх самі. Кластерні технології також використовуються для розподілу великого потоку запитів з багатьох серверів. Такі рішення часто застосовуються для підтримки Web-вузлів з динамічним вмістом, постійно звертаються до баз даних, наприклад, пошукових систем. У залежності від розмірів сервісу кластери розподілу завантаження можуть мати досить велику кількість вузлів.

* Грід (GRID) - перспективний напрямок розвитку ІТ технологій. Хоча він поки не втілено в індустріальних стандартах, всі країни - лідери ІТ-ринку - мають державні програми розробки грід-технологій. Мета цих програм;

інтеграція обчислювальних потужностей - інтеграція різнорідних обчислювальних систем у єдиний простір з динамічним розподілом ресурсів між додатками;

інтеграція ємностей сховищ - щось подібне територіально розподіленим RAID-систем;

інтеграція джерел даних - наприклад, інтеграція в єдину віртуальну базу різнорідних баз даних, розподілених територіально, реалізованих на різних апаратних платформах і принципах.

Термін «грід» створений за аналогією з поняттям «power grid» - система, що інтегрує генеруючі потужності електричних мереж в єдине «сховище» енергії, звідки вона перерозподіляється незалежно від її джерела. Впровадження таких технологій у сфері високопродуктивних обчислень дозволить кардинально спростити доступ до обчислювальних ресурсів і зробити їх використання на порядок більш ефективним. Крім інтеграції обчислювальних ресурсів грід-технології дозволять інтегрувати різнорідні ємності зберігання інформації та бази даних для створення глобального інформаційного простору. Сьогодні ясно, що грід-системи отримають велике поширення в наукових та академічних колах, тобто в умовах відносної відкритості інформаційних ресурсів. У комерційному сегменті, де дуже гостро стоїть питання забезпечення безпеки обміну інформацією та захисту інтелектуальної власності, такі системи, мабуть, будуть затребувані в меншій мірі.

Спеціалізоване ПЗ

Робота кластерних систем забезпечується чотирма видами спеціалізованих додатків, як то: операційні системи (як правило, Linux), засоби комунікації (для обчислювальних кластерів це зазвичай бібліотека MPI), засоби розробки паралельних програм, ПЗ для адміністрування кластерів.

Для написання паралельних додатків, які забезпечують взаємодію між вузлами кластера, використовуються бібліотеки програмування MPI. MPI стандартизує набір інтерфейсів програмування, на яких можна писати програми, легко переносяться на різні кластерні архітектури. Існує кілька популярних реалізацій MPI, сумісних з різними типами інтерконекту, серед яких є як вільно розповсюджуються, так і комерційні (наприклад, від компаній Scali, Intel, Verari Systems). Деякі кластерні програми замість інтерфейсу MPI використовують стандартний TCP / IP, але, як правило, з меншою ефективністю.

Засоби розробки паралельних додатків містять компілятори з різних мов програмування (наприклад, компаній Absoft, Intel, PathScale, Portland Group), відладчики паралельних додатків (компаній Absoft, Allinea, Etnus), а також засоби оптимізації паралельних додатків (наприклад, компанії PathScale). ПЗ для адміністрування кластерів дозволяє контролювати запуск і планування виконання пакетних завдань, а також їх розподіл між обчислювальними вузлами кластера. Ці програмні засоби керують розподілом навантаження і збільшують ефективність роботи високопродуктивних обчислювальних систем. Найбільш поширені пакети компаній Altair, Platform, Sun і Scali.

Що стосується управління та моніторингу кластерів, то це ПЗ сильно залежить від використовуваних апаратних засобів і звичайно поставляється виробником устаткування. Можна також знайти чимало вільно розповсюджуваних версій різної функціональності. Існує і російська версія такого ПО - розроблений в ІПС РАН програмний пакет FLAME SKIP.

Найбільш популярні паралельні прикладні програмні пакети:

1) інженерні:

CFD, CAD, CAE, тобто гідро-та газодинаміка, міцнісний аналіз, проектування і розрахунок конструкцій: програмні пакети FLUENT компанії Fluent, пакети STAR-CD і STAR CCM +, створені CD adapco Group, MAGMASOFT від MAGMA, Altair HyperWorks від Altair Engineering і ін, в тому числі російська розробка FlowVision компанії «ТЕСІС»;

розрахунки зіткнення конструкцій і FF.A (кінцево-елементний аналіз): LS-DYNA від LSTC, програмні пакети від ABAQUS, ANSYS, MSC.Software;

2) пошук нових ліків, генетика та ін програмні пакети від TurboWorx;

3) ПЗ для обробки геофізичних даних для нафтовидобувної галузі: програмні засоби компаній Paradigm, Schlumberger.

Перспективи розвитку кластерних технологій на російському ринку

Перспективи вітчизняного ринку суперкомп'ютерів в цілому безпосередньо залежать від розвитку російської економіки. Якщо економіка, зокрема вітчизняне виробництво, буде розвиватися, все більше число підприємств знайдуть кошти на придбання високопродуктивних рішень. Вітчизняні підприємства вже усвідомлюють, що для того щоб конкурувати із західною продукцією навіть на внутрішньому ринку, їм необхідна потужна обчислювальна техніка. Підтвердженням цьому може служити ВАТ «Силові машини»: сильне виробництво, продукція високої якості, переможець багатьох тендерів і одночасно власник одного з 30 найбільш потужних суперкомп'ютерних систем Росії (див. www.supercomputers.ru). Серед інших провідних вітчизняних підприємств, що активно займаються технологічним переоснащенням виробництва, - РКК «Енергія», ФГУП ММПП «САЛЮТ», НДІКІЕТ, ВАТ "Ленінградський металевий завод», ВАТ «Електросила», ЦНДІ ім. А. Н. Крилова, ФГУП ЦКБМТ «Рубін», НВО ЦКТІ ім. І. І. Ползунова, АТ «АвтоВАЗ», ОКБМ ім. Афрікантова, НВО «Мотор», НВО «Геофізика», ДержНДІАС, ВНІІЕФ, ВНІІТФ, ЦАГІ, ЦІАМ, ВАТ «ОКБ Сухого», ВАТ «Російський алюміній» і багато інших.

За прогнозами учасників вітчизняного ринку суперкомп'ютерів, його зростання за найближчі 3-5 років складе кілька сотень відсотків. І якщо ще рік тому замовниками кластерних систем виступали в основному науково-дослідні інститути та вузи, то в найближчому майбутньому ці рішення будуть знаходити все більший попит в комерційному секторі, як це поступово відбувається вже зараз. При цьому, на думку виробників, основну частку ринку будуть як і раніше займати кластерні рішення з найкращим на сьогодні співвідношенням ціна / продуктивність.

Учасники ринку виділяють три основних класу споживачів кластерних рішень в Росії. По-перше, це промислові підприємства, що займаються розвідкою і видобутком корисних копалин, машинобудуванням, виробництвом лікарських препаратів. По-друге, це наукові інститути та університети, для яких оснащеність високопродуктивною технікою не тільки умова конкурентоспроможності наукових розробок. Як показує практика МДУ ім. М. В. Ломоносова, Південно-Уральського державного університету, Санкт-Петербурзького державного політехнічного університету та ін, наявність високопродуктивних обчислювальних ресурсів дозволяє науковим організаціям виступати в ролі регіональних центрів інноваційної активності, здатних надати промисловим підприємствам сучасну комп'ютерну підтримку. У цих вузах вже ведуться інженерні розрахунки та розробки в інтересах промислових підприємств регіонів, і така практика довела свою ефективність. Треба відзначити, що учасники російського ринку суперкомп'ютерів прагнуть забезпечити сприятливі умови для його розвитку, не чекаючи підтримки держави. Так, Науково-дослідний обчислювальний центр МДУ ім. М. В. Ломоносова у співпраці з російськими комерційними компаніями - постачальниками кластерного обладнання, ПЗ впроваджує спеціальну програму, що дозволяє вузам і науковим інститутам купувати техніку і навчати фахівців на особливих умовах.

Нарешті, третя група споживачів - користувачі кластерних баз даних. Кластерні рішення можуть бути з успіхом використані у великих компаніях практично незалежно від галузі для ведення корпоративних баз даних, роботи ERP-і CRM-систем. Зростання частки цього сегмента кластерного ринку можна прогнозувати на підставі появи на російському ринку програмних рішень для баз даних, сумісних з кластерної архітектурою.

Ще одна тенденція вітчизняного ринку кластерних технологій на сьогодні - присутність на ньому вітчизняних компаній, що займають міцні позиції. У поточній редакції списку найбільш потужних комп'ютерів СНД частка машин західного виробництва становить 34%, ще 12% зібрано самими користувачами, а решта 54% суперкомп'ютерів створені вітчизняними виробниками. Треба сказати, що частка вітчизняних суперкомп'ютерних рішень, скажімо, на європейських ринках набагато скромнішим і не йде в порівняння з часткою провідних американських компаній (IBM, HP та ін.) Конкурентні переваги російських виробників - можливість робити унікальні системи «на замовлення», домагаючись найбільш вигідного для клієнта співвідношення ціна / продуктивність і забезпечуючи оптимізацію рішення під конкретну задачу, а також територіальна близькість, що полегшує настройку і обслуговування складної техніки. Присутність вітчизняних організацій на ринку створює найбільш сприятливі умови для його розвитку, забезпечуючи конкуренцію і стимулюючи зростання доступності рішень.

Що ж до розвитку технологій, то на найближчий час можна прогнозувати зростання частки рішень на основі 64-розрядних і нових двоядерних процесорів, ущільнення конфігурації кластерних систем (тобто збільшення систем з вузлами формфактора 1U з кількістю процесорів більше двох), поява систем з чотирипроцесорних серверними вузлами, які стають більш доступними за ціною, а також розвиток блейд-технологій. Окремий важливий напрям розвитку - розробки в області грід-технологій з метою об'єднання різнорідних обчислювальних систем у єдиний простір з динамічним розподілом ресурсів між додатками. Ці розробки підтримуються провідними виробниками програмного забезпечення: наприклад, в повой версії Oracle Database 10g використовуються GRID-технології.

Редакція дякує фахівців Центру кластерних технологій компанії «Т-Платформи» за допомогу в підготовці статті.

Список літератури

Журнал Upgrade4_08_05