Особливості розвитку структурна і функціональна організація суперЕОМ

Таблиця 2.4 - Паралельні векторні системи (PVP)

Архітектура		Основною ознакою PVP-систем є наявність спеціальних векторно-конвейєрних процесорів, в яких передбачені команди однотипної обробки векторів незалежних даних, ефективно виконуються на конвеєрних функціональних пристроях. Як правило, кілька таких процесорів (1-16) працюють одночасно над загальною пам'яттю (аналогічно SMP) у рамках багатопроцесорних конфігурацій. Кілька таких вузлів можуть бути об'єднані за допомогою комутатора (аналогічно MPP).
Приклади	NEC SX-4/SX-5, лінія векторно-конвейєрних комп'ютерів CRAY: від CRAY-1, CRAY J90/T90, CRAY SV1, CRAY X1, серія Fujitsu VPP.
Модель програмування	Ефективне програмування увазі векторизацію циклів (для досягнення розумної продуктивності одного процесора) і їх розпаралелювання (для одночасного завантаження декількох процесорів одним додатком).

Таблиця 2.5 - Кластерні системи

Архітектура	Набір робочих станцій (або навіть ПК) загального призначення, використовується в якості дешевого варіанту масивно-паралельного комп'ютера. Для зв'язку вузлів використовується одна із стандартних мережевих технологій (Fast / Gigabit Ethernet, Myrinet) на базі шинної архітектури або комутатора. При об'єднанні в кластер комп'ютерів різної потужності або різної архітектури, говорять про гетерогенних (неоднорідних) кластерах. Вузли кластера можуть одночасно використовуватися в якості користувача робочих станцій. У випадку, коли це не потрібно, вузли можуть бути істотно полегшені і / або встановлені в стійку.
Приклади	NT-кластер в NCSA, Beowulf-кластери.
Операційна система	Використовуються стандартні для робочих станцій ОС, найчастіше, вільно розповсюджувані - Linux / FreeBSD, разом із спеціальними засобами підтримки паралельного програмування і розподілу навантаження.
Модель програмування	Програмування, як правило, в рамках моделі передачі повідомлень (найчастіше - MPI). Дешевизна подібних систем обертається великими накладними витратами на взаємодію паралельних процесів між собою, що сильно звужує потенційний клас розв'язуваних завдань.

Класифікація паралельних обчислювальних систем, запропонована Т. Джоном, заснована на поділі МВС за двома критеріями: способом побудови пам'яті (загальна або розподілена) і способу передачі інформації. Основні типи машин за класифікацією Т. Джона представлені в таблиці 2.6. Тут прийняті наступні позначення: p - елементарний процесор, M - елемент пам'яті, K - комутатор, С - кеш-пам'ять.
Паралельна обчислювальна система з загальною пам'яттю та шинної організацією обміну (машина 1) дозволяє кожному процесору системи бачити ", як вирішується завдання в цілому, а не тільки ті частини, над

Типи передачі Повідомлень	Типи пам'яті
	Спільна пам'ять	Загальна та розподілена	Розподілена пам'ять
Шинні з'єднання	1. \ * MERGEFORMAT	2. \ * MERGEFORMAT	3. \ * MERGEFORMAT
Фіксований-ні перехрест-ні сполуки	4. \ * MERGEFORMAT	5. \ * MERGEFORMAT	6. \ * MERGEFORMAT
Комутаційні-ні структури	7. \ * MERGEFORMAT	8. \ * MERGEFORMAT	9. \ * MERGEFORMAT

Таблиця 2.6 - Класифікація МВС за типами пам'яті і передачі повідомлень якими він працює. Загальна шина, пов'язана з пам'яттю, викликає серйозні проблеми для забезпечення високої пропускної здатності каналів обміну. Одним із способів обійти цю ситуацію є використання кеш-пам'яті (машина 2). У цьому випадку виникає проблема когерентності вмісту кеш-пам'яті і основної. Іншим способом підвищення продуктивності систем є відмова від центральної пам'яті (машина 3).
Ідеальною машиною є обчислювальна система, у якій кожен процесор має прямі канали зв'язку з іншими процесорами, але в цьому випадку потрібно надзвичайно великий об'єм обладнання для організації міжпроцесорних обмінів. Певний компроміс представляє мережу з фіксованою топологією, в якій кожен процесор з'єднаний з деяким підмножиною процесорів системи. Якщо процесорам, що не мають безпосереднього каналу обміну, необхідно взаємодіяти, вони передають повідомлення через проміжні процесори. Одна з переваг такого підходу - не обмежується зростання числа процесорів в системі. Недолік - потрібно оптимізація прикладних програм, щоб забезпечити виконання паралельних процесів, для яких необхідно активний вплив на сусідні процесори.
Найбільш цікавим варіантом для перспективних паралельних обчислювальних комплексів є поєднання гідності архітектур з розподіленою пам'яттю і каналами межпроцессорного обміну. Один з можливих методів побудови таких комбінованих архітектур - конфігурація з комутацією, коли процесор має локальну пам'ять, а з'єднуються процесори між собою за допомогою комутатора (машина 9). Комутатор може виявитися вельми корисним для групи процесорів з розподіленою пам'яттю (машина 8). Дана конфігурація схожа на машину з загальною пам'яттю (машина 7), але тут виключені проблеми пропускної здатності шини.
Недоліками класифікації Т. Джона є приховування рівня паралелізму в системі.
Паралелізм будь-якого роду вимагає одночасної роботи, принаймні, двох пристроїв. Такими пристроями можуть бути: арифметико-логічні пристрої (АЛП), пристрої керування (УУ). У ЕОМ класичної архітектури УУ і АЛУ утворюють процесор. Збільшення числа процесорів або числа АЛУ в кожному з них призводить до відповідного зростання паралелізму. Наявність в ЕОМ декількох процесорів означає, що одночасно (паралельно) можуть виконуватися кілька програм або кілька фрагментів однієї програми. Робота декількох АЛУ під керуванням одного УУ означає, що безліч даних може оброблятися паралельно за однією програмою. Відповідно до цього опис структур паралельних систем можна представити у вигляді впорядкованої трійки:
<k,d,w>,
де k - кількість пристроїв управління, тобто найбільшу кількість незалежно і одночасно виконуваних програм в системі;
d - кількість АЛП, що припадають на один пристрій управління;
w - кількість розрядів, вміст яких обробляється одночасно (паралельно) одним арифметико-логічним пристроєм.
Інша форма розпаралелювання - конвейеризация, також вимагає наявності кількох ЦП або АЛУ. У той час, як безліч даних обробляється на одному пристрої, іншу множину даних може оброблятися на наступному пристрої і т.д., при цьому в процесі обробки виникає потік даних від одного пристрою (ЦП або АЛУ) до наступного. Протягом всього процесу над одним безліччю даних виконується одне за іншим n дій. Одночасно в конвеєрі на різних стадіях обробки можуть знаходитися від 1 до n даних.
Паралелізм і конвейеризацию можна розглядати на трьох різних рівнях, представлених у таблиці 2.7. Шість основних форм паралелізму, в широкому сенсі цього слова, дозволяють побудувати схему класифікації, в рамках якої можна описати різноманітність високопродуктивних обчислювальних систем і відобразити їх еволюцію.
Таблиця 2.7 - Класифікація МВС за типом розпаралелювання

Рівень паралелізму	Паралелізм	Конвейеризация
Програми	Мультипроцесор \ * MERGEFORMAT	Макроконвейер \ * MERGEFORMAT
Команди	Матричний процесор \ * MERGEFORMAT	Конвеєр команд \ * MERGEFORMAT
Дані	Безліч розрядів \ * MERGEFORMAT	Арифметичний конвеєр \ * MERGEFORMAT

3. ОСНОВНІ КОНЦЕПЦІЇ ПРОЕКТУВАННЯ суперЕОМ
У векторних суперЕОМ забезпечена гранична продуктивність для процесів скалярної та векторної обробки, яка присутня в більшості завдань. Завдання, що містять високу ступінь внутрішнього паралелізму, можуть бути добре адаптовані до систем масового паралелізму. Реальні завдання і, тим більше, пакети завдань містять цілий ряд алгоритмів, що мають різні рівні паралелізму.
Все це говорить про те, що замість спроб пристосувати всі типи алгоритмів до однієї архітектурі, що відбивається на конфігурації архітектур і супроводжується не завжди коректними порівняннями пікової продуктивності, більш продуктивним є взаємодоповнення архітектур в єдиній системі. Одним з перших прикладів такої системи є об'єднання векторної системи Cray Y-XM з системою Cray T3D. Проте, це об'єднання за допомогою високошвидкісного каналу призводить до необхідності розбивки завдань на великі блоки і до втрат часу і пам'яті на обмін інформацією.
Ситуація в даному випадку подібна до тієї, яка існувала до появи векторних машин. Для вирішення завдань, що містять велике число операцій над векторами і матрицями, використовувалися так звані матричні процесори, наприклад, фірми FSP, які підключалися до універсальної машині за допомогою каналу введення / виводу. Інтеграція скалярної та векторної обробки в одному процесорі поряд із забезпеченням високої швидкості роботи синхронного конвеєра забезпечила успіх векторних машин.
Наступним логічним кроком є ​​інтеграція скалярної, векторної і паралельної обробки. Завдяки цьому, може бути досягнута висока реальна продуктивність за рахунок розподілу окремих частин програми з підсистем з різною архітектурою. Природно, це розподіл роботи має бути підтримано апаратно-програмними засобами автоматизації програмування. Ці кошти повинні містити можливість інтерактивного втручання програміста на етапі аналізу завдання і можливість моделювання або пробного запуску програми з вимірюванням параметрів ефективності. Слід підкреслити, що форми паралелізму в алгоритмах досить різноманітні, тому й їх апаратне відображення може бути різним. До найбільш простим можна віднести системи з одним потоком команд і множинними потоками даних, системи з множинними потоками команд і даних, систолические системи.
Одним з багатообіцяючих підходів, що забезпечують автоматичне розпаралелювання, є принцип потоку даних, при якому послідовність або одночасність обчислень визначається не командами, а готовністю операндів і наявністю вільного функціонального арифметичного пристрою. Однак, і в цьому випадку ступінь реального розпаралелювання залежить від внутрішнього паралелізму алгоритму і, очевидно, потрібні ефективні способи підготовки завдань. Крім того, для реалізації таких систем необхідне створення асоціативної пам'яті для пошуку готових до роботи пар операндів і систем розподілу обчислень по великому числу функціональних пристроїв.
Апаратна реалізація паралельних підсистем повністю залежить від обраних мікропроцесорів, БІС пам'яті та інших компонентів. В даний час з економічних причин доцільно використовувати найбільш високопродуктивні мікропроцесори, розроблені для уніпроцессорних машин.
Разом з тим, існують підходи, пов'язані із застосуванням спеціалізованих мікропроцесорів, орієнтованих на використання в паралельних системах. Типовим прикладом є серія транспьютеров фірми Inmos. Однак, через обмежений ринку ця серія по продуктивності різко відстала від універсальних мікропроцесорів, таких, як Alpha, Power PC, Pentium. Спеціалізовані мікропроцесори зможуть бути конкурентноспроможними тільки за умови скорочення витрат на проектування та освоєння у виробництві, що у великій мірі залежить від продуктивності інструментальних обчислювальних засобів, що використовуються в системах автоматизованого проектування.
У різних обчислювальних машинах використовувалися різні підходи, спрямовані на досягнення, в першу чергу, однією з таких цілей:
§ максимальна арифметична продуктивність процесора;
§ ефективність роботи операційної системи і зручність спілкування з нею для програміста;
§ ефективність трансляції з мов високого рівня і виключення написання програм на автокод;
§ ефективність розпаралелювання алгоритмів для паралельних архітектур.
Проте, в будь-якій машині необхідно в тій чи іншій формі вирішувати всі зазначені завдання. Відзначимо, що спочатку цього намагалися досягти за допомогою одного або декількох однакових процесорів.
Диференціація функцій і спеціалізація окремих підсистем почала розвиватися з появи окремих підсистем і процесорів для обслуговування введення / виводу, комунікаційних мереж, зовнішньої пам'яті і т.п.
У суперЕОМ крім основного процесора (машини) включалися зовнішні машини. У різних системах можна спостерігати елементи спеціалізації в напрямках автономного виконання функцій операційної системи, системи програмування та підготовки завдань.
По-перше, ці допоміжні функції можуть виконуватися паралельно з основними обчисленнями. По-друге, для реалізації не потрібні багато з тих коштів, які забезпечують високу продуктивність основного процесора, наприклад, можливість виконання операцій з плаваючою комою і векторних операцій. Надалі, при інтеграції скалярної, векторної і паралельної обробки в рамках єдиної обчислювальної підсистеми складу цих допоміжних функцій має бути доповнений функціями аналізу програм з метою забезпечення необхідного рівня паралелізму і розподілу окремих частин програми з різним гілкам обчислювальної підсистеми.
Поява суперЕОМ супроводжувалося підвищенням їх загальної потужності споживання (вище 100 кВт) і збільшенням щільності теплових потоків на різних рівнях конструкції. Їх створення не в останню чергу виявилося можливим, завдяки використанню ефективних рідинних та фреонових систем охолодження. Чи є значна потужність суттєвою ознакою суперЕОМ? Відповідь на це питання залежить від того, що вкладається в поняття суперЕОМ.
Якщо вважати, що суперЕОМ або, точніше, суперсистема - це система з найвищою можливою продуктивністю, то енергетичний чинник залишається одним з визначальних цю продуктивність. У міру розвитку технології потужність одного вентиля в мікропроцесорах зменшується, але при підвищенні продуктивності процесора за рахунок паралелізму загальна потужність у ряді випадків зростає. При об'єднанні великої кількості мікропроцесорів в системі з масовим паралелізмом інтегральна потужність і тепловиділення стають порівнянними з аналогічними показниками для векторно-конвейєрних систем. Проте, іноді в рекламних цілях паралельні системи з невеликим числом процесорів порівнюються з суперкомп'ютерами попереднього або більш раннього поколінь, щоб показати їх переваги в сенсі простоти і зручності експлуатації. Природно, з такого некоректного порівняння не можна зробити висновок про доцільність створення сучасних суперсистем.
Основним стимулом створення суперсистем є потреби вирішення великих завдань. У свою чергу, дослідження та розробки з суперсистем стимулюють цілий комплекс фундаментальних і прикладних досліджень, результати яких використовуються в подальшому в інших областях. Перш за все, це стосується архітектури та схемотехніки обчислювальних машин, високочастотних інтегральних схем і засобів межз'єднань, ефективних систем відведення тепла. Не менш важливі результати за методами розпаралелювання при виконанні окремих операцій та ділянок програм на апаратному рівні, методам побудови паралельних алгоритмів, мов і програмних систем для ефективного вирішення великих завдань.
У розвитку обчислювальних засобів можна виділити три основні проблеми:
§ підвищення продуктивності;
§ підвищення надійності;
§ покриття семантичного розриву.
Етапи розвитку обчислювальних засобів прийнято розрізняти за поколінням машин. Характеристика покоління визначається конкретними показниками, що відображають досягнутий рівень у вирішенні трьох перерахованих проблем. Оскільки переважний внесок у розвиток обчислювальних засобів завжди належав технологічним рішенням, основною характеристикою покоління машин вважалася елементна база. І дійсно, перехід на нову елементну базу добре корелюється з новим рівнем показників продуктивності, надійності і скорочення семантичного розриву.
В даний час актуальним є перехід до нових поколінь обчислювальних засобів. За традицією, що склалася вирішальна роль відводиться технології виробництва елементної бази. У той же час стає очевидним, що технологічні рішення втратили монопольне становище. Так, наприклад, в найближчій перспективі помітно зростає значення проблеми покриття семантичного розриву, що відбивається в необхідності створення високоскладних програмних продуктів і вимагає кардинального зниження трудоемкотсі програмування. Ця проблема вирішується переважно архітектурними засобами. Роль технології тут може бути тільки непрямої: висока ступінь інтеграції створює умови для реалізації архітектурних рішень.
В даний час одним з домініруюшіх напрямків розвитку суперЕОМ є обчислювальні системи c MIMD-паралелізмом на основі матриці мікропроцесорів. Для створення подібних обчислювальних систем, що складаються з сотень і тисяч пов'язаних процесорів, потрібно подолати низку складних проблем як в програмному забезпеченні (мови Parallel Pascal, Modula-2, Ada), так і в апаратних засобах (ефективна комутаційна середа, високошвидкісні засоби обміну, потужні мікропроцесори). Елементна база сучасних виcокопроізводітельних систем характеризується стандартною ступенем інтеграції (до 3,5 млн. транзисторів на кристалі) і високими тактовими частотами (до 600 МГц).
В даний час всі фірми і всі університети США, Західної Європи та Японії, які розробляють суперЕОМ, ведуть інтенсивні дослідження в області багатопроцесорних суперЕОМ з масовим паралелізмом, створюють безліч їх типів, організовують їх виробництво і прискореними темпами освоюють світовий ринок у цій області. Багатопроцесорні ЕОМ з масовим паралелізмом вже зараз істотно випереджають по продуктивності традиційні суперЕОМ з векторно-конвеєрною архітектурою. Системи з масовим паралелізмом пред'являють менші вимоги до мікропроцесорах і елементній базі і мають значно меншу вартість при будь-якому рівні продуктивності, ніж векторно-конвейєрні суперЕОМ.
На щорічній конференції в Чепел-Хілл (Сев.Кароліна) представлений проект фірми IBM, метою якого є створення гіперкубіческого паралельного процесора в одному корпусі. Конструкція, названа Execube, має 8 16-розрядних мікропроцесоров, вбудованих в кристал 4Мбит динамічного ЗП (ДЗУ). При цьому ступінь інтегр становить 5 млн. транзисторів. Мікросхема виготовлена ​​по КМОП-технології з трьома рівнями металізації на заводі IBM Microelectronic (Ясу, Японія). Execube являє собою спробу підвищення ступеня інтеграції процесора з пам'яттю шляхом більш ефективного доступу до інформації ДЗУ. По суті, пам'ять перетворюється в розширені регістри процесорів. Продуктивність мікросхеми складає 50 млн оп / с.
Фірма CRAY Research обеявіла про початок випуску суперкомп'ютерах CRAY T3 / E. Основна характеристика, на якій акцентували увагу розробники - масштабованість. Мінімальна конфігурація становить 8 мікропроцесорів, максимальна - 2048. У порівнянні з попередньою моделлю T3 / D співвідношення ціна / продуктивність знижена в 4 рази і становить 60 дол / Мфлопс, чому сприяло застосування недорогих процесорів DEC Alpha EVC, виготовлених за КМОП-технології. Передбачувана вартість моделі Т3 / Е на основі 16 процесорів з 1-Гбайт ЗУ складе 900 тис. доларів, а ціна найбільш потужної конфігурації (1024 процесора, ЗУ 64 Гбайт) -39,7 млн. доларів при пікової продуктивності 600 Гфлопс.
Одним із способів подальшого підвищення продуктивності обчислювальної системи є об'єднання суперкомп'ютерів у кластери за допомогою оптоволоконних з'єднань. З цією метою комп'ютери CRAY T3 / E забезпечені каналами введення / виводу з пропускною здатністю 128 Гбайт / с. Потенційні замовники виявляють підвищений інтерес до нової розробки фірми. Бажання придбати комп'ютер виявили такі організації як Pittsburgh Supercomputer Center, Mobile Oil, Департамент з океанографії і атмосферних досліджень США. При цьому підписано кілька контрактів на виготовлення кількох комп'ютерів 512-процесорної конфігурації.
Серед японських компаній слід виділити фірму Hitachi, яка випустила суперкомп'ютер SR2201 з масовим паралелізмом, що містить до 2048 процесоров. В основі системи перероблена компанією процесорна архітектура RA-RISC від фірми Hewlett-Paccard. Псевдовекторний процесор функціонує під управлінням ОС HP-UX/MPP Mash 3.0. У комп'ютері, крім того, використана система підтримки паралельного режиму роботи Exdivss, створена корпорацією Parasoft і отримала назву ParallelWare. Продуктивність нового комп'ютера становить 600 Гфлопс.

4. Коротку характеристику найбільш поширених Суперкомп'ютер
IBM RS/6000 SP

Виробник	International Business Machines (IBM), підрозділ RS/6000.
Клас архітектури	Швидка, масивно-паралельна обчислювальна система (MPP).
Вузли	Вузли мають архітектуру робочих станцій RS/6000. Існують декілька типів SP-вузлів, які комплектуються різними процесорами: PowerPC 604e/332MHz, POWER3/200 і 222 MHz (більш ранні системи комплектувалися процесорами POWER2). High-вузли на базі POWER3 включають до 8 процесорів та до 16 GB пам'яті.
Масштабується-тість	До 512 вузлів. Можливо поєднання вузлів відмінності типів. Вузли встановлюються в стійки (до 16 вузлів в кожній).
Комутатор	Вузли зв'язані між собою високопродуктивних комутатором (IBM high-performance switch), який має багатостадійну структуру і працює з комутацією пакетів.
Cистемное ПЗ	OC AIX (встановлюється на кожному вузлі), система пакетної обробки LoadLeveler, паралельна файлова система GPFS, паралельна СУБД INFORMIX-OnLine XPS. Паралельні програми виконуються під управлінням Parallel Operating Environment (POE).
Засоби програмування-ня	Оптимізована реалізація інтерфейсу MPI, бібліотеки паралельних математичних підпрограм - ESSL, OSL.
Огляд	Огляд архітектури суперкомп'ютерів серії RS/6000 SP корпорації IBM.

HP 9000 (Exemplar)

Виробник	Hewlett-Packard, підрозділ високопродуктивних систем.
Клас	Багатопроцесорні сервера із загальною пам'яттю (SMP).
Передує-ники	SMP / NUMA-системи Convex SPP-1200, SPP-1600, SPP-2000.
Модифікації	В даний час доступні кілька "класів" систем сімейства HP 9000: сервера початкового рівня (D, K-class), середнього рівня (N-class) і найбільш потужні системи (V-class).
Процесори	64-бітові процесори c архітектурою PA-RISC 2.0 (PA-8200, PA-8500).
Число процесорів	N-class - до 8 процесорів. V-class - до 32 процесорів. Надалі очікується збільшення кількості процесорів до 64, а потім до 128.
Масштабується-тість	SCA-конфігурації (Scalable Computing Architecture) - до 4 вузлів V-class, тобто до 128 процесорів.
Системне ПЗ	Встановлюється операційна система HP-UX (сумісна на рівні двійкового коду з ОС SPP-UX комп'ютерів Convex SPP).
Засоби програмування-ня	HP MPI - реалізація MPI 1.2, оптимізована до архітектури Exemplar. Розпаралелюючих компілятори Fortran / C, математична бібліотека HP MLIB. CXperf - з редством аналізу продуктивності програм.
Огляд	Огляд архітектури серверів HP 9000 класу V корпорації Hewlett-Packard

Cray T3E

Виробник	Cray Inc.
Клас архітектури	Швидка, масивно-паралельна система, складається з процесорних елементів (PE).
Передує-ники	Cray T3D
Модифікації	T3E-900, T3E-1200, T3E-1350
Процесорний елемент	PE складається з процесора, блоку пам'яті і пристрої сполучення з мережею. Використовуються процесори Alpha 21164 (EV5) з тактовою частотою 450 MHz (T3E-900), 600 MHz (T3E-1200), 675 MHz (T3E-1350) пікова продуктивність яких становить 900, 1200, 1350 MFLOP / sec відповідно. Процесорний елемент володіє своєю локальною пам'яттю (DRAM) об'ємом від 256MB до 2GB.
Число процесорів	Системи T3E масштабуються до 2048 PE.
Комутатор	Процесорні елементи пов'язані високопродуктивної мережею GigaRing з топологією тривимірного тора і двонаправленими каналами. Швидкість обмінів по мережі досягає 500MB/sec в кожному напрямку.
Системне ПЗ	Використовується операційна система UNICOS / mk.
Засоби програмування-ня	Підтримується явне паралельне програмування c допомогою пакета Message Passing Toolkit (MPT) - реалізації інтерфейсів передачі повідомлень MPI, MPI-2 і PVM, бібліотека Shmem. Для Фортран-програм можливо також неявне розпаралелювання в моделях CRAFT і HPF. Середовище розробки включає також набір візуальних засобів для аналізу і налагодження паралельних програм.

Cray T90

Виробник	Cray Inc., Cray Research.
Клас архітектури	Багатопроцесорна векторна система (кілька векторних процесорів працюють на загальній пам'яті).
Передує-ники	CRAY Y-MP C90, CRAY X-MP.
Моделі	Серія T90 включає моделі T94, T916 і T932.
Процесор	Системи серії T90 базуються на векторно-конвеєрному процесорі Cray Research з піковою продуктивністю 2GFlop / s.
Число процесорів	Система T932 може включати до 32 векторних процесорів (до 4-х у моделі T94, до 16 моделі T916), забезпечуючи пікову продуктивність більш 60GFlop / s.
Масштабується-тість	Можливе об'єднання декількох T90 в MPP-системи.
Пам'ять	Система T932 містить від 1GB до 8GB (до 1 GB в моделі T94 і до 4GB в моделі T916) оперативної пам'яті і забезпечує швидкість обміну з пам'яттю до 800MB/sec.
Системне ПЗ	Використовується операційна система UNICOS.

Cray SV1

Виробник	Cray Inc.
Клас архітектури	Масштабований векторний суперкомп'ютер.
Процесор	Використовуються 8-конвеєрні векторні процесори MSP (Multi-Streaming Processor) з піковою продуктивністю 4.8 GFLOP / sec, кожен MSP може бути поділені на 4 стандартних 2-конвеєрних процесора з піковою продуктивністю 1.2 GFLOP / sec. Тактова частота процесорів - 250MHz.
Число процесорів	Процесори об'єднуються в SMP-вузли, кожен з яких може містити 6 MSP і 8 стандартних процесорів. Система (кластер) може містити до 32 таких вузлів.
Пам'ять	SMP-вузол може містити від 2 до 16GB пам'яті. Система може містити до 1TB пам'яті. Вся пам'ять глобально адресується (архітектура DSM).
Системне ПЗ	Використовується операційна система UNICOS.
Засоби програмування-ня	Поставляється векторизуется і розпаралелюючих компілятор CF90. Підтримується також явна паралельне програмування з використанням інтерфейсів MPI, OpenMP або Shmem.

Cray X1

Виробник	Cray Inc.
Клас архітектури	Масштабований векторний суперкомп'ютер.
Процесор	Використовуються 16-конвеєрні векторні процесори з піковою продуктивністю 12.8 GFLOP / sec. Тактова частота процесорів - 800MHz.
Число процесорів	У максимальній конфігурації - до 4096.
Пам'ять	Кожен процесор може містити до 16GB пам'яті. У максимальній конфігурації система може містити до 64TB пам'яті. Вся пам'ять глобально адресується (архітектура DSM). Максимальна швидкість обміну з оперативною пам'яттю становить 34.1 Гбайт / сек. на процесор, швидкість обміну з кеш-пам'яттю 76.8 Гбайт / сек. на процесор.
Системне ПЗ	Використовується операційна система UNICOS / mp.
Засоби програмування-ня	Реалізовано компілятори з мов Фортран і Сі + +, що включають можливості автоматичної векторизації та розпаралелювання, спеціальні оптимізовані бібліотеки, інтерактивний відладчик і засоби для аналізу продуктивності. Додатки можуть писатися з використанням MPI, OpenMP, Co-array Fortran і Unified Parallel C (UPC).

Cray XT3

Виробник	Cray Inc.
Клас архітектури	Масивно-паралельний суперкомп'ютер.
Процесор	Використовуються процесори AMD Opteron.
Число процесорів	У максимальній конфігурації - до 30508.
Пам'ять	Кожен процесор може містити від 1 до 8 Гбайт оперативної пам'яті. У максимальній конфігурації система може містити до 239 Тбайт пам'яті.
Системне ПЗ	Використовується операційна система UNICOS / lc.
Засоби програмування-ня	На комп'ютері встановлюються компілятори Fortran 77, 90, 95, C / C + +, комунікаційні бібліотеки MPI (з підтримкою стандарту MPI 2.0) і SHMEM, а також оптимізовані версії бібліотек BLAS, FFTs, LAPACK, ScaLAPACK і SuperLU. Для аналізу продуктивності системи встановлюється система Cray Apdivntice2 performance analysis tools.

SGI Origin2000

Виробник	Silicon Graphics
Клас архітектури	Модульна система із загальною пам'яттю (cc-NUMA).
Процесор	64-розрядні RISC-процесори MIPS R10000, R12000/300MHz
Модуль	Основний компонент системи - модуль Origin, що включає від 2 до 8 процесорів MIPS R10000 і до 16GB оперативної пам'яті.
Масштабується-тість	Поставляються системи Origin2000, що містять до 256 процесорів (тобто до 512 модулів). Вся пам'ять системи (до 256GB) глобально адресуються, апаратно підтримується когерентність кешів.
Комутатор	Модулі системи з'єднані за допомогою мережі CrayLink, побудованої на маршрутизаторах MetaRouter.
Системне ПЗ	Використовується операційна система SGI IRIX.
Засоби програмування-ня	Поставляється розпаралелюючих компілятор Cray Fortran 90. Підтримується стандарт OpenMP.

SGI Altix3000

Виробник	Silicon Graphics
Клас архітектури	Модульна система із загальною пам'яттю (cc-NUMA).
Процесор	Intel Itanium II 1.3GHz/1.5GHz
Модулі	Вся система будується з модулів (обчислювальних, комутаційних, інш.) Обчислювальний компонент системи - модуль C-brick, що складається з 2-х блоків, що включає 4 процесора (по 2 на блок), 4 слота пам'яті за 8DIMM (від 4 до 16Gb на C-brick).
Масштабується-тість	Поставляються системи Origin2000, що містять до 256 процесорів (тобто до 512 модулів). Вся пам'ять системи (до 256GB) глобально адресуються, апаратно підтримується когерентність кешів.
Комутатор	Модулі системи з'єднані за допомогою мережі NUMAlink, побудованої на власних маршрутизаторах R-bricks.
Системне ПЗ	Використовується допрацьована ("відкриті" доопрацювання) операційна система Linux.