Як бути, якщо експертиза проводиться вперше, а тому усталені списки можливих експертів відсутні? Однак і в цьому випадку у кожного конкретного фахівця є деяке уявлення про те, що потрібно від експерта в подібній ситуації. Для формування списку є корисний метод "снігової кулі", при якому від кожного фахівця, яка притягається в якості експерта, отримують кілька (наприклад, п'ять) прізвищ тих, хто може бути експертом з розглянутої тематики. Очевидно, деякі з цих прізвищ зустрічалися раніше і зафіксовані в списках РГ, а деякі - нові. Кожного знову появи опитують за тією ж схемою. Процес розширення списку зупиняється, коли список експертів розширюється до потрібних розмірів або коли нові прізвища практично перестають зустрічатися. У результаті виходить досить великий список можливих експертів. Метод "снігової кулі" має і недоліки. Число турів до зупинки процесу нарощування "снігової кулі" не можна заздалегідь передбачити, а тому не можна попередньо встановити тривалість і вартість цієї роботи. Крім того, ясно, що якщо на першому етапі всі експерти були з одного "клану", дотримувалися в чомусь близьких поглядів або займалися подібною діяльністю, то і метод "снігової кулі" дасть, швидше за все, перш за все осіб з цього "клану ". Думки й аргументи інших "кланів" будуть втрачені.
Питання про оцінку компетентності експертів не менш складний. Успішність участі в попередніх експертизах - хороший критерій для діяльності дегустатора, лікаря, судді у спортивних змаганнях, тобто таких експертів, які беруть участь у довгих серіях однотипних експертиз. Однак, на жаль, найбільш цікаві і важливі унікальні експертизи великих проектів, що не мають аналогів. Використання формальних показників експертів (посада, вчені ступінь і звання, стаж, кількість публікацій, нагороди,..), Очевидно, в сучасних умовах може носити лише допоміжний характер, хоча подібні показники найпростіше застосовувати при формуванні експертної комісії.
Часто пропонують використовувати методи самооцінки і взаємооцінки компетентності експертів. Обговоримо їх, почавши з методу самооцінки, при якому експерт сам дає інформацію про те, в яких областях він компетентний, а в яких - ні. З одного боку, хто краще може знати можливості експерта, ніж він сам? З іншого боку, при самооцінці компетентності швидше оцінюється ступінь самовпевненості експерта, ніж його реальна компетентність. Тим більше, що саме поняття "компетентність" суворо не визначено. Можна його уточнювати, виділяючи складові, але при цьому ускладнюється попередня частина діяльності експертної комісії. Досить часто експерт перебільшує свою реальну компетентність. Наприклад, більшість людей вважають, що вони добре розбираються в політиці, економіці, проблеми освіти і виховання, сім'ї та медицини. Насправді експертів (і навіть знають людей) в цих областях не так вже й багато, особливо у порівнянні з претензіями профанів. Бувають ухилення і в інший бік, зайво критичне ставлення до своїх можливостей. При цьому фахівець цілком свідомо штучно звужує зону своєї компетенції. Так, науковий працівник може заявити, що він компетентний тільки в тому, чому присвячені його останні публікації.
При використанні методу взаємооцінки, крім можливості прояву особистісних і групових симпатій і антипатій, грає роль мала поінформованість експертів про можливості один одного. У сучасних умовах досить гарне знайомство з роботами і можливостями один одного може бути лише у фахівців, багато років (не менше 3-4) працюють спільно, в одній кімнаті, над однією темою. Саме про такі пари можна сказати, що вони "пуд солі разом з'їли". Однак залучення таких пар фахівців не дуже-то доцільно, оскільки їх погляди з-за схожості життєвого шляху надто схожі один на одного. Мала поінформованість експертів про можливості один одного приводить до взаимооценка на основі недостатніх, а іноді й не цілком достовірних відомостей, або на базі раніше описаних формальних показників.
Якщо процедура експертного опитування передбачає безпосереднє спілкування експертів, необхідно враховувати ще ряд обставин. Велике значення мають їх особистісні (соціально-психологічні) якості. Так, один-єдиний "балакун" може паралізувати діяльність всієї комісії на спільному засіданні. До зриву можуть привести і неприязні відносини членів комісії, і сильно розрізняється науковий і посадовий статус членів комісії. У подібних випадках важливо дотримання регламенту роботи, розробленого РГ.
Необхідно підкреслити, що підбір експертів у кінцевому рахунку - функція Робочої групи, і ніякі методики підбору не знімають з неї відповідальності. Іншими словами, саме на Робочій групі лежить відповідальність за компетентність експертів, за їхню принципову здатність вирішити поставлену задачу. Важливим є вимога до ОПР про затвердження списку експертів. При цьому ОПР може як додати до комісії окремих експертів, так і викреслити деяких з них - із власних міркувань, з якими членам РГ та ЕК знайомитися немає необхідності.
Існує ряд нормативних документів, регулюючих діяльність експертних комісій в тих чи інших областях. Прикладом є Закон Російської Федерації "Про екологічну експертизу" від 23 листопада 1995 р., в якому регламентується процедура експертизи "намічуваної господарської чи іншої діяльності" з метою виявлення можливої ​​шкоди, що може завдати розглянута діяльність навколишньому природному середовищу.

Про розроблення регламенту проведення збору й аналізу експертних думок

Як вже зазначалося, існує маса методів отримання експертних оцінок. В одних з кожним експертом працюють окремо, він навіть не знає, хто ще є експертом, а тому висловлює свою думку незалежно від авторитетів, "кланів" та окремих колег. В інших експертів збирають разом для підготовки матеріалів для ОПР, при цьому експерти обговорюють проблему один з одним, приймають або відкидають аргументи один одного, вчаться один у одного, і невірні або недостатньо обгрунтовані думки відкидаються. В одних методах число експертів фіксоване і таке, щоб статистичні методи перевірки узгодженості думок і потім (у випадку досить хорошою узгодженості думок) їх усереднення дозволяли приймати обгрунтовані рішення з точки зору економетрики. В інших - число експертів росте в процесі проведення експертизи, наприклад, при використанні методу "снігової кулі" для формування команди експертів.
В даний час не існує загальноприйнятої науково обгрунтованої класифікації методів експертних оцінок і тим більше - однозначних рекомендацій щодо їх застосування. Спроба силою (прийнявши який-небудь нормативно-правовий документ) затвердити одну з можливих точок зору може принести лише шкоду.
Однак для розповіді про різноманіття експертних оцінок необхідна будь-яких робоча класифікація методів. Одну з таких можливих класифікацій ми даємо нижче, перераховуючи підстави, за якими ми ділимо експертні оцінки.
Яка мета роботи комісії? Один з основних питань - що саме має представити експертна комісія в результаті своєї роботи - інформацію для прийняття рішення ОПР або проект самого рішення? Від відповіді на це методологічний питання залежить організація роботи експертної комісії, і вона є першою підставою для розбиття методів на групи з метою їх класифікації.
Мета - збір інформації для ЛПР. Тоді Робоча група повинна зібрати щонайбільше відноситься до справи, аргументів "за" і "проти" певних варіантів рішень. Корисний наступний метод поступового збільшення числа експертів. Спочатку перший експерт наводить свої міркування з даного питання. Складений ним матеріал передається другому експерту, який додає свої аргументи. Накопичений матеріал надходить до наступного - третього - експерту ... Процедура закінчується, коли вичерпується потік нових міркувань.
Відзначимо, що експерти в розглянутому методі тільки постачають інформацію, аргументи "за" і "проти", але не виробляють узгодженого проекту рішення. Немає ніякої необхідності прагнути до того, щоб експертні думки були узгоджені між собою. Більш того, найбільшу користь приносять експерти з мисленням, що відхиляється від масового. Таких зазвичай називають дисидентами (тобто інакомислячими). Саме від них слід чекати найбільш оригінальних аргументів.
Мета - підготовка проекту рішення для ОПР. Економетричні методи в експертних оцінках застосовуються зазвичай саме для вирішення завдань, пов'язаних з підготовкою проекту рішення, заснованого на підсумковому колективному думці комісії експертів. При цьому найчастіше некритично приймають догми узгодженості та одномірності. Ці догми "кочують" з однієї публікації в іншу, тому доцільно їх обговорити.
Догма узгодженості. Часто без всяких підстав вважається, що рішення може бути прийнято лише на основі узгоджених думок експертів. Тому виключають з експертної групи тих, чия думка відрізняється від думки більшості. (У кращому випадку їм дозволяє скласти документ під назвою: "Особлива думка") При цьому відкидаються як некваліфіковані особи, що потрапили до складу експертної комісії з непорозуміння чи з міркувань, що не мають відношення до їх компетентності та професійному рівню, так і найбільш оригінальні мислителі, глибше проникли у проблему, ніж більшість. Варто було б з'ясувати їхні аргументи, надати їм можливість для обгрунтування їх точок зору. Замість цього їх думкою нехтують.
Буває й так, що експерти діляться на дві або більше груп, що мають єдині групові точки зору. Так, добре відомі приклади розподілу фахівців при оцінці результатів науково-дослідних робіт (НДР) на дві групи: "теоретиків", явно віддають перевагу НДР, у яких отримані теоретичні результати, і "практиків", що вибирають ті НДР, які дозволяють отримувати безпосередні прикладні результати (мова йде, наприклад, про історію конкурсів НДР в академічному Інституті проблем управління (автоматики і телемеханіки)).
Іноді заявляють, що в разі виявлення двох або кількох груп експертів (замість однієї узгодженої в думках) опитування не досяг мети. Це не так! Мета досягнута - встановлено, що єдиної думки немає. Це дуже важливо. І ОПР при прийнятті рішень повинен це враховувати. Прагнення забезпечити узгодженість думок експертів будь цілої може призводити до свідомого одностороннього підбору експертів, ігнорування всіх точок зору, крім однієї, найбільш полюбилася Робочій групі (або навіть "підказаної" ОПР).
Часто не враховують ще одного суто економетричного обставини. Оскільки число експертів зазвичай не перевищує 20-30, то формальна статистична узгодженість думок експертів (встановлена ​​за допомогою тих чи інших критеріїв перевірки статистичних гіпотез) може поєднуватися з реально наявних поділом експертів на групи, що робить подальші розрахунки не мають стосунку до дійсності, а тому не мають практичного сенсу. Для прикладу звернемося до конкретних методів розрахунків за допомогою коефіцієнтів конкордації на основі коефіцієнтів рангової кореляції Кендалла або Спірмена. Необхідно нагадати, що згідно економетричної теорії позитивний результат перевірки узгодженості таким способом означає ні більше, ні менше, як відхилення конкретної статистичної гіпотези, а саме, гіпотези про незалежність і рівномірної розподіленості думок експертів на множині всіх ранжировок. Таким чином, перевіряється нульова гіпотеза, згідно з якою ранжировки, описують думки експертів, є незалежними випадковими бінарними відношеннями, рівномірно розподіленими на множині всіх ранжировок [1]. Відхилення цієї нульової гіпотези тлумачиться як прийняття альтернативної гіпотези узгодженості відповідей експертів. Іншими словами, ми падаємо жертвою помилок, що випливають з різного тлумачення одних і тих же слів в не цілком пов'язаних один з одним наукових дисциплінах: прийняття статистичної гіпотези узгодженості в зазначеному математико-статистичному сенсі зовсім не є обгрунтуванням узгодженості думок експертів в сенсі практики експертних оцінок. (Саме ущербність розглянутих математико-статистичних методів аналізу ранжировок призвела групу фахівців до розробки нового економетричного апарату для перевірки узгодженості - непараметричних методів, заснованих на т. зв. Люсіанах і входять в сучасний розділ економетрики - статистику нечислових даних). Групи експертів з близькими поглядами можна виділити економетричними методами кластер-аналізу.
Думки дисидентів. З метою штучно домогтися узгодженості намагаються зменшити вплив думок експертів-дисидентів, тобто інакодумців в порівнянні з більшістю. Жорсткий спосіб боротьби з дисидентами полягає в ігноруванні їхніх думок, тобто фактично в їх виключення зі складу експертної комісії. Відбраковування експертів, як і відбраковування різко виділяються результатів спостережень (викидів), призводить до процедур, які мають погані або невідомі статистичні властивості. Так, відома крайня нестійкість класичних методів відбракування викидів по відношенню до відхилень від передумов моделі.
М'який спосіб боротьби з дисидентами полягає в застосуванні робастних (стійких) статистичних процедур. Найпростіший приклад: якщо відповідь експерта - дійсне число, то різко виділяється думку дисидента сильно впливає на середнє арифметичне відповідей експертів і не впливає на їх медіану. Тому розумно як узгодженого думки розглядати медіану. Однак при цьому ігноруються (не досягають ОПР) аргументи дисидентів.
У будь-якому з двох способів боротьби з дисидентами ОПР позбавляється інформації, що йде від дисидентів, а тому може прийняти необгрунтоване рішення, яке згодом призведе до негативних наслідків. З іншого боку, уявлення ОПР всього набору думок знімає частину відповідальності і праці з підготовки остаточного рішення з комісії експертів і робочої групи з проведення експертного опитування та перекладає ці відповідальність і праця на плечі ОПР.
Догма одновимірності. Серед менеджерів та інженерів поширений досить примітивний підхід так званої "кваліметрії", згідно з яким об'єкт експертизи завжди можна оцінити одним числом. Дивна ідея! Оцінювати людини одним числом приходило в голову лише на невільничих ринках. Навряд чи навіть найзавзятіші кваліметрісти розглядають книгу чи картину як еквівалент числа - її "ринкової вартості".
Разом з тим не можна повністю заперечувати саму ідею пошуку узагальнених показників якості, технічного рівня і аналогічних їм. Так, кожен об'єкт можна оцінювати за багатьма показниками якості. Наприклад, легковий автомобіль можна оцінювати за такими показниками:
· Витрата бензину на 100 км шляху (в середньому);
· Надійність (середня вартість ремонту за рік);
· Екологічна безпека, оцінювана за вмістом шкідливих речовин у вихлопних газах;
· Маневреність;
· Швидкість набору швидкості 100 км / годину після початку руху, максимальна швидкість досягається;
· Тривалість збереження в салоні позитивної температури при низькій зовнішній температурі (-50 градусів за Цельсієм) і вимкненому двигуні;
· Дизайн (привабливість і "модність" зовнішнього вигляду та оздоблення салону);
· Показність;
· Вага;
· Термін служби;
· Експлуатаційні витрати (за рік);
· Ціна;
· Приведена до порівнянним цінами вартість 1 км пробігу, і т.д.
Чи можна звести оцінки за цими показниками разом? Визначальною є конкретна ситуація, для якої вибирається автомашина. Максимально досягається швидкість важлива для гонщика, але, як нам видається, не має великого практичного значення для водія рядовий приватної машини, особливо у великому місті з суворим обмеженням на максимальну швидкість. Для такого водія важливіше витрата бензину, маневреність і надійність. Для машин різних служб державного управління, мабуть, надійність важливіше, ніж для приватника, а витрата бензину - навпаки. Показність важлива для вищих менеджерів і чиновників, що займають високі пости. Для районів Крайньої Півночі важлива теплоізоляція салону, а для південних районів - ні. І т.д.
Таким чином, важлива конкретна (вузька) постановка завдання перед експертами. Але такої постановки найчастіше немає. А тоді "гри" по розробці узагальненого показника якості - наприклад, у вигляді лінійної функції від перерахованих змінних - можуть не дати об'єктивних висновків. Альтернативою єдиному узагальненому показнику є математичний апарат типу багатокритеріальної оптимізації - множини Парето і т.д.
У деяких випадках все-таки можна глобально порівняти об'єкти - наприклад, за допомогою тих же експертів отримати впорядкування аналізованих об'єктів - виробів чи проектів. Тоді можна підібрати коефіцієнти при окремих показниках так, щоб впорядкування з допомогою лінійної функції можливо точніше відповідало глобальному упорядкування (наприклад, знайти ці коефіцієнти методом найменших квадратів). Навпаки, в подібних випадках НЕ СЛІД оцінювати зазначені коефіцієнти безпосередньо за допомогою експертів. Ця проста ідея досі не стала очевидною для окремих укладачів методик з проведення експертних опитувань та аналізу їх результатів. Вони завзято намагаються змусити експертів робити те, що вони виконати не в змозі - вказувати ваги, з якими окремі показники якості повинні входити в підсумковий узагальнений показник.
Експерти зазвичай можуть порівняти об'єкти або проекти в цілому, але не можуть вичленувати внесок окремих факторів. Раз організатори опитування запитують, експерти відповідають, але ці відповіді не несуть у собі надійної інформації про реальність ...
Відзначимо, що є експертні процедури, в яких ваги окремих факторів обчислюються в результаті ретельного аналізу ієрархічної системи показників. Для таких процедур наведені вище критичні зауваження з приводу експертного визначення ваг факторів не мають сили.
Друга підстава класифікації експертних процедур - число турів. Експертизи можуть включати один тур, деяке фіксоване число турів (два, три, ...) або невизначене число турів. Чим більше турів, тим більш ретельно є аналіз ситуації, оскільки експерти при цьому зазвичай багато раз повертаються до розгляду предмета експертизи. Але одночасно збільшується загальний час на експертизу і зростає її вартість. Можна зменшити витрати, вводячи в експертизу не всіх експертів одразу, а поступово. Так, наприклад, якщо мета полягає в зборі аргументів "за" і "проти", то первинний перелік аргументів може бути складений одним експертом. Другий додасть до нього свої аргументи. Сумарний матеріал надійде до першого і третього, які внесуть свої аргументи та контраргументи. І так далі - додається по одному експерту на кожен новий тур.
Найбільші складності викликають процедури з наперед невизначеним числом турів, наприклад, "сніжний ком". Часто задають максимально можливе число турів, і тоді невизначеність зводиться до того, чи доведеться проводити це максимальне число турів або вдасться обмежитися меншим числом.
Третя підстава класифікації експертних процедур - організація спілкування експертів. Розглянемо переваги і недоліки кожного з елементів наступної шкали: відсутність спілкування - заочне анонімне спілкування - заочне спілкування без анонімності - очне спілкування з обмеженнями - очне спілкування без обмежень.
При відсутності спілкування експерт висловлює свою думку, нічого не знаючи про інших експертів та про їх думки. Він повністю незалежний, що і добре, і погано. Добре - тому що він повністю незалежний, захищений від будь-якого тиску. Погано - він не знає міркувань інших експертів, а тому спирається лише на власну інформаційну базу. Зазвичай така ситуація відповідає однотуровой експертизі.
Заочне анонімне спілкування, наприклад, як у методі Дельфі, означає, що експерт знайомиться з думками і аргументами інших експертів, але не знає, хто саме висловив те чи інше положення. Отже, в експертизі повинно бути передбачено хоча б два тури, щоб експерт зміг скорегувати свою думку, познайомившись з думками інших.
Заочне спілкування без анонімності відповідає, наприклад, спілкування по Інтернету. Експертні опитування на основі інформаційних технологій - досить перспективний напрямок розвитку в області організації експертиз.
Всі варіанти заочної експертизи хороші тим, що немає необхідності збирати експертів разом, отже, знаходити для цього слушний для всіх експертів час і місце.
При очних експертизах експерти говорять, а не пишуть, як при заочних, і тому встигають за той же час сказати істотно більше. Очна експертиза з обмеженнями вельми поширена. Це - збори, що йде за фіксованим регламенту. Прикладом є військова рада у імператорської російської армії, коли експерти (офіцери і генерали) висловлювалися в порядку від молодшого (по чину і посади) до старшого. Докладно таку пораду описаний у повісті А.С. Пушкіна "Капітанська дочка". Інший приклад - "мозковий штурм", при якому забороняється критикувати чужі висловлювання.
Нарешті, очна експертиза без обмежень - це вільна дискусія. Всі очні експертизи мають недоліки, пов'язані з можливостями негативного впливу на їх проведення соціально-психологічних властивостей і кланових (партійних) пристрастей учасників, а також нерівності їх професійного, посадової, наукового статусів. Уявіть собі, що зберуться разом 5 лейтенантів і 3 генерала. Незалежно від того, яка інформація є у того чи іншого учасника зустрічі, хід її передбачити неважко: генерали будуть говорити, а лейтенанти - мовчати. Хоча досвід генералів непорівнянний з лейтенантські, але в процесі недавнього навчання лейтенанти познайомилися з останніми науковими досягненнями, які майже напевно пройшли повз увагу генералів. Зрозуміло, цей приклад можна обговорити не для наради військових, а для зборів управлінців (менеджерів), лікарів або викладачів.
Необхідно звернути увагу на психологічні особливості експертів. Один почне голосно говорити на різні теми, як тільки йому це вдасться, і словесний понос може тривати годинами. Від спроб перервати його і сказати своє такий діяч легко відбивається, зокрема, за рахунок високої швидкості вимовляння слів. Поведінка іншого експерта протилежно. Він воліє мовчати, поки йому не надано слово, не витрачати сил на спроби вклинитися у словесний понос "говоруна". Зі сказаного ясно, що очна експертиза без обмежень, тобто вільна дискусія - це недосяжний ідеал, реально роль і можливості головуючого на засіданні (зафіксовані в регламенті роботи ЕК) повинні бути достатні великі.
Комбінація різних видів експертизи. Реальні експертизи часто представляють собою комбінації різних описаних вище типів експертиз. В якості прикладу розглянемо систему експертиз при підготовці та захисті студентом дипломного проекту. Спочатку йде многотуровая очна експертиза, проведена науковим керівником та консультантами, в результаті обліку результатів цієї експертизи студент готує проект до захисту. Потім два експерти працюють заочно - це автор оглядів сторонньої організації та завідувач кафедрою, що допускає роботу до захисту. Зверніть увагу на відмінність завдань цих експертів та обсягів виконуваної ними роботи - один пише детальний огляд і дає оцінку проекту, другий розписом на титульному аркуші проекту дозволяє його захист. Нарешті - очна експертиза без обмежень (для членів державної атестаційної комісії). Дипломний проект оцінюється колегіально, за більшістю голосів, при цьому лише один з експертів (науковий керівник) знає роботу докладно, а інші - в основному лише по доповіді студента. Таким чином, маємо поєднання многотуровой і однотуровой, заочних та очних експертиз. Подібні поєднання характерні для багатьох реально проводяться експертиз.

Методи середніх балів

В даний час поширені експертні, маркетингові, кваліметричні, соціологічні та інші опитування, в яких опитуваних просять виставити бали об'єктах, виробам, технологічним процесам, підприємствам, проектам, заявками на виконання науково-дослідних робіт, ідеям, проблем, програмами, політикам і т. п., а потім розраховують середні бали і розглядають їх як інтегральні оцінки, виставлені колективом опитаних.
Якими формулами користуватися для обчислення середніх величин? Адже різних видів середніх величин, як ми знаємо, дуже багато (див. розділ 3). Зазвичай в старих або застарілих літературних джерелах рекомендують застосовувати середнє арифметичне. Однак ця усталена рекомендація суперечить теорії вимірювань. Проте вже більше 25 років відомо, що такий спосіб є коректним, оскільки бали зазвичай виміряні в порядкової шкалою. Обгрунтованим є використання медіан в якості середніх балів. Це випливає з теорем економетрики, наведених в розділі 3.
Однак повністю ігнорувати середні арифметичні нераціонально через їх звичності й поширеності. Тому доцільно використовувати одночасно обидва методи - і метод середніх арифметичних рангів (балів), і методів медіанних рангів. Ця рекомендація знаходиться у згоді з концепцією стійкості, згідно з якою слід використовувати різні методи для обробки одних і тих же даних з метою виділити висновки, одержувані одночасно при всіх методах. Такі висновки, мабуть, відповідають реальній дійсності, в той час як укладання, мінливі від методу до методу, залежать від суб'єктивізму дослідника, що вибирає метод обробки вихідних даних, наприклад, експертних оцінок.
Приклад порівняння восьми проектів. Розглянемо конкретний приклад застосування щойно сформульованого підходу.
За завданням керівництва фірми аналізувалися вісім проектів, запропонованих для включення до плану стратегічного розвитку фірми. Вони були позначені таким чином: Д, Л, М-К, Б, Г-Б, Сол, Стеф, К (по прізвищах менеджерів, що запропонували їх для розгляду). Усі проекти були направлено 12 експертам, призначеним Радою директорів фірми. У наведеній нижче табл.1 наведені ранги восьми проектів, присвоєні їм кожним з 12 експертів відповідно до подання експертів про доцільність включення проекту в стратегічний план фірми. При цьому експерт присвоює ранг 1 найкращому проекту, який обов'язково треба реалізувати. Ранг 2 одержує від експерта другий за привабливістю проект ,..., нарешті, ранг 8 - найбільш сумнівний проект, який реалізовувати варто лише в останню чергу).
Аналізуючи результати роботи експертів (тобто згадану таблицю), члени Правління фірми були змушені констатувати, що повної згоди між експертами немає, а тому дані, наведені в табл.1, слід піддати більш ретельному математичного аналізу.
Метод середніх арифметичних рангів. Спочатку був застосований метод середніх арифметичних рангів. Для цього насамперед була підрахована сума рангів, присвоєних проектів (див. табл.1). Потім ця сума була розділена на кількість експертів, в результаті розрахований середній арифметичний ранг (саме ця операція дала назву методу). За середніми рангах будується підсумкова ранжировка (в іншій термінології - впорядкування), виходячи з принципу - чим менше середній ранг, чим краще проект.
Табл.1. Ранги 8 проектів за ступенем привабливості для включення в план стратегічного розвитку фірми

№ експерта	Д	Л	М-К	Б	Г-Б	Сол	Стеф	До
1	5	3	1	2	8	4	6	7
2	5	4	3	1	8	2	6	7
3	1	7	5	4	8	2	3	6
4	6	4	2,5	2,5	8	1	7	5
5	8	2	4	6	3	5	1	7
6	5	6	4	3	2	1	7	8
7	6	1	2	3	5	4	8	7
8	5	1	3	2	7	4	6	8
9	6	1	3	2	5	4	7	8
10	5	3	2	1	8	4	6	7
11	7	1	3	2	6	4	5	8
12	1	6	5	3	8	4	2	7

Примітка. Експерт № 4 вважає, що проекти М-К і Б рівноцінні, але поступаються лише одному проекту - проекту Сол. Тому проекти М-К і Б повинні були б стояти на другому і третьому місцях і отримати бали 2 і 3. Оскільки вони рівноцінні, то отримують середній бал (2 +3) / 2 = 5 / 2 = 2,5.
Найменший середній ранг, рівний 2,625, у проекту Б, - отже, у підсумковій ранжировки він отримує ранг 1. Наступна за величиною сума, рівна 3,125, у проекту М-К. І він отримує підсумковий ранг 2. Проекти Л і Сол мають однакові суми (рівні 3,25), отже, з точки зору експертів вони рівноцінні (при даному способі відомості разом думок експертів з метою одержання підсумкової ранжировки), а тому вони повинні б стояти на 3 і 4 місцях і отримують середній бал (3 +4) / 2 = 3,5. Подальші результати наведені в табл.2 нижче.
Отже, ранжування за сумами рангів (або, що те ж саме, за середнім арифметичним рангах) має вигляд:
Б <М-К <{Л, Сол} <Д <Стеф <Г-Б <К. (1)
Тут запис типу "А <Б" означає, що проект А передує проекту Б (тобто проект А краще проекту Б). Оскільки проекти Л і Сол отримали однакову суму балів, то з даного методу вони еквівалентні, а тому об'єднані в групу - клас еквівалентності (у фігурних дужках). У термінології математичної статистики ранжировка (1) має один зв'язок.
Метод медіан рангів. Значить, наука сказала своє слово, підсумок розрахунків - ранжировка (1), і на її основі належить приймати рішення? Але тут найбільш знайомий із сучасною економетрикою член Ради директорів згадав те, про що говорилося в розділі 3, присвяченій теорії вимірювань. Він згадав, що відповіді експертів виміряні в порядкової шкалою, а тому для них неправомірно проводити усереднення методом середніх арифметичних. Треба використовувати метод медіан.
Що це означає? Нагадаємо, що треба взяти відповіді експертів, відповідні одному з проектів, наприклад, проектом Д. Це ранги 5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1. Потім їх треба розташувати в порядку неспадання (простіше було б сказати - "в порядку зростання", але оскільки деякі відповіді збігаються, то доводиться використовувати незвичний термін "неспадання"). Отримаємо послідовність: 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8. На центральних місцях - шостому та сьомому - коштують 5 і 5. Отже, медіана дорівнює 5.
Табл.2. Результати розрахунків за методом середніх арифметичних і методу медіан для даних, наведених у табл.1.

	Д	Л	М-К	Б	Г-Б	Сол	Стеф	До
Сума рангів	60	39	37,5	31.5	76	39	64	85
Середнє арифметичне рангів	5	3,25	3,125	2,625	6,333	3,25	5,333	7,083
Підсумковий ранг по середньому арифметичному	5	3,5	2	1	7	3,5	6	8
Медіани рангів	5	3	3	2,25	7,5	4	6	7
Підсумковий ранг по медианам	5	2,5	2,5	1	8	4	6	7

Медіани сукупностей з 12 рангів, які відповідають певним проектам, наведені у передостанньому рядку табл.2. (При цьому медіани обчислені за звичайними правилами статистики - як середнє арифметичне центральних членів варіаційного ряду) Підсумкове впорядкування за методом медіан наведено в останньому рядку табл.2. Топ сайтів (тобто впорядкування - підсумкове думка комісії експертів) з медианам має вигляд:
Б <{М-К, Л} <Сол <Д <Стеф <К <Г-Б. (2)
Оскільки проекти Л і М-К мають однакові медіани балів, то з даного методу ранжирування вони еквівалентні, а тому об'єднані в групу (кластер), тобто з точки зору математичної статистики ранжировка (2) має один зв'язок.
Порівняння ранжировок за методом середніх арифметичних і методу медіан. Порівняння ранжировок (1) і (2) показує їх близькість (схожість). Можна прийняти, що проекти М-К, Л, Сол впорядковані як М-К <Л <Сол, але через похибки експертних оцінок в одному методі визнані рівноцінними проекти Л і Сол (ранжування (1)), а в іншому - проекти М-К і Л (ранжування (2)). Істотним є лише розбіжність, що стосується впорядкування проектів К і Г-Б: у ранжировки (1) Г-Б <К, а в ранжировки (2), навпаки, К <Г-Б. Однак ці проекти - найменш привабливі з восьми аналізованих, і при виборі найбільш привабливих проектів для подальшого обговорення і використання на вказане розбіжність можна не звертати уваги.
Розглянутий приклад демонструє схожість і відмінність ранжировок, отриманих за методом середніх арифметичних рангів і за методом медіан, а також користь від їх спільного застосування. Однак не можна не відзначити, що тільки що проведене порівняння ранжировок (1) і (2) здійснено не цілком строго. Ясно, що в економетричних інструментарії фахівця з проведення експертних досліджень повинен бути алгоритм узгодження ранжировок, отриманих різними методами.
Метод узгодження кластерізованних ранжировок
Розглянута тут проблема полягає у виділенні загального несуворого порядку з набору кластерізованних ранжировок (на статистичному мовою - ранжировок зі зв'язками). Цей набір може відображати думки кількох експертів або бути отриманий при обробці думок експертів різними методами. Розглядається метод узгодження кластерізованних ранжировок, що дозволяє "загнати" протиріччя всередину спеціальним чином побудованих кластерів (груп), в той час як впорядкування кластерів відповідає всім вихідним упорядкування.
У різних прикладних областях виникає необхідність аналізу декількох кластерізованних ранжировок об'єктів. До таких областей відносяться перш за все інженерний бізнес, менеджмент, економіка, соціологія, прогнозування, екологія, наукові та технічні дослідження і т.д., особливо ті їх розділи, що пов'язані з експертними оцінками. В якості об'єктів можуть виступати зразки продукції, технології, математичні моделі, проекти, кандидати на посаду та ін Кластерізованние ранжировки можуть бути отримані як за допомогою експертів, так і об'єктивним шляхом, наприклад, при зіставленні математичних моделей з експериментальними даними за допомогою того чи іншого критерію якості. Спочатку описаний нижче метод був розроблений у зв'язку з проблемами хімічної безпеки біосфери та екологічного страхування.
Повторимо більш докладно постановку проблеми. У цьому пункті навчального посібника розглядається метод побудови кластерізованной ранжировки, узгодженої (в розкритому нижче сенсі) з усіма розглянутими кластерізованнимі ранжировками. При цьому суперечності між окремими вихідними ранжировками виявляються ув'язненими всередині кластерів узгодженої ранжировки. У результаті впорядкованість кластерів відображає загальну думку експертів, точніше, те спільне, що міститься у вихідних ранжировках. У кластери укладені об'єкти, з приводу яких деякі з вихідних ранжировок суперечать один одному. Для їхнього упорядкування необхідно провести нові дослідження. Ці дослідження можуть бути як формально-математичними (наприклад, обчислення медіани Кемені, впорядкування за середніми рангах або за медианам і т.п.), так і вимагати залучення нової інформації з відповідної прикладної області, можливо, проведення додаткових наукових або прикладних робіт.
Введемо необхідні поняття, потім сформулюємо алгоритм узгодження кластерізованних ранжировок в загальному вигляді і розглянемо його властивості.
Нехай є кінцеве число об'єктів, які ми для простоти викладу будемо зображати натуральними числами 1,2,3 ,..., k і називати "носієм". Під кластерізованной ранжировки, визначеної на заданому носії, розуміємо таку математичну конструкцію. Нехай об'єкти розбиті на групи, які будемо називати кластерами. У кластері може бути і один елемент. Вхідні в один кластер об'єкти будемо укладати у фігурні дужки. Наприклад, об'єкти 1,2,3 ,..., 10 можуть бути розбиті на 7 кластерів: {1}, {2,3}, {4}, {5,6,7}, {8}, {9} , {10}. У цьому розбитті один кластер {5,6,7} містить три елементи, інший - {2,3} - два, інші п'ять - по одному елементу. Кластери не мають спільних елементів, а об'єднання їх (як множин) є все розглядається безліч об'єктів.
Друга складова кластерізованной ранжировки - це суворий лінійний порядок між кластерами. Визнач, який з них перший, який другий, і т.д. Будемо зображати впорядкованість за допомогою знака <. При цьому кластери, що складаються з одного елемента, будемо для простоти зображати без фігурних дужок. Тоді кластерізованную ранжирування (одну з можливих) на основі введених вище кластерів можна зобразити так:
А = [1 <{2,3} <4 <{5,6,7} <8 <9 <10].
Конкретні кластерізованние ранжировки будемо брати у квадратні дужки. Якщо для простоти мови термін "кластер" застосовувати тільки до кластеру не менше ніж з 2-х елементів, то можна сказати, що в кластерізованную ранжирування А входять два кластери {2,3} і {5,6,7} та 5 окремих елементів .
Введена описаним чином кластерізованная ранжировка є бінарним відношенням на множині {1,2,3 ,..., 10}. Його структура така. Задане відношення еквівалентності з 7-ю класами еквівалентності, а саме, {2,3}, {5,6,7}, а інші складаються з решти 5 окремих елементів. Потім введено суворий лінійний порядок між класами еквівалентності.
Введений математичний об'єкт відомий у літературі як "ранжировка зі зв'язками" (М. Холлендер, Д. Вулф), "впорядкування" (Дж. Кемені, Дж. Снелл), "квазісерія" (Б. Г. Міркін), "досконалий квазіпорядок" (Ю. А. Шрейдер [2, с.127, 130]). Враховуючи різнобій в термінології, ми визнали корисним ввести власний термін "кластерізованная ранжировка", оскільки в ньому явно названо основні елементи досліджуваного математичного об'єкта - кластери, що розглядаються на етапі узгодження ранжировок як класи еквівалентності, і ранжування - суворий досконалий порядок між ними (у термінології Ю. А. Шрейдера [2, гл. IV]).
Наступне важливе поняття - суперечливість. Воно визначається для четвірки - дві кластерізованние ранжировки на одному і тому ж носії і два різних об'єкта - елементи того ж носія. При цьому два елементи з одного кластера будемо пов'язувати символом рівності =, як еквівалентні.
Визначення 1. Нехай А і В - дві кластерізованние ранжировки. Пару об'єктів (a, b) назвемо "суперечливою" відносно А і В, якщо ці два елементи по-різному впорядковані в А і В, тобто a <b в А і a> b в В (перший варіант суперечливості) або a> b в А і a <b в В (другий варіант суперечливості).
Зазначимо, що відповідно до цього визначення пара об'єктів (a, b), еквівалентна хоча б в одній кластерізованной ранжировки, не може бути суперечливою: еквівалентність a = b не утворює "протиріччя" ні з a <b, ні з a> b.
Визначення 2. Сукупність суперечливих пар об'єктів для двох кластерізованних ранжировок А і В назвемо "ядром протиріч" і позначимо S (A, B).
В якості прикладу розглянемо дві кластерізованние ранжировки
В = [{1,2} <{3,4, 5} <6 <7 <9 <{8, 10}],
C = [3 <{1, 4} <2 <6 <{5, 7, 8} <{9, 10}].
Для трьох кластерізованних ранжировок А, В і С, визначених на одному і тому ж носії {1, 2, 3 ,..., 10}, маємо
S (A, B) = [(8, 9)], S (A, C) = [(1, 3), (2,4)],
S (B, C) = [(1, 3), (2, 3), (2, 4), (5, 6), (8,9)].
Як при ручному, так і за програмного знаходженні ядра можна в пошуках суперечливих пар переглядати пари (1,2), (1,3), (1., 4 ),... ., (1, k), потім (2,3), (2,4 ),..., (2, k), потім (3,4 ),..., (3, k), і т . д., аж до (k-1, k).
Користуючись поняттями дискретної математики, "ядро протиріч" можна зобразити графом з вершинами в точках носія. При цьому суперечливі пари задають ребра цього графа. Граф для S (A, B) має тільки одне ребро (отже, у нього одна зв'язкова компонента більш ніж з одного місця), для S (A, C) - 2 ребра (у цього графа дві зв'язкові компоненти більш ніж з одного місця) , для S (B, C) - 5 ребер (тут три зв'язкові компоненти більш ніж з однієї точки, а саме, {1, 2, 3, 4}, {5, 6} і {8, 9}).
Кожну кластерізованную ранжирування, як і будь-яке бінарне відношення, можна задати матрицею | | x (a, b) | | з 0 і 1 порядку kx k. При цьому x (a, b) = 1 тоді і тільки тоді, коли a <b або a = b. У першому випадку x (b, a) = 0, а в другому x (b, a) = 1. При цьому хоча б одне з чисел x (a, b) і x (b, a) дорівнює
1. З визначення суперечливості пари (a, b) випливає, що для знаходження всіх таких пар досить поелементно перемножити дві матриці | | x (a, b) | | і | | y (a, b) | |, що відповідають двом кластерізованним ранжировка, і відібрати ті і тільки ті пари, для яких x (a, b) y (a, b) = x (b, a) y (b, a) = 0.
Крім ядер протиріч, представляють інтерес пари об'єктів, еквівалентних у всіх вихідних кластерізованних ранжировках.
Визначення 3. Ядром загальної еквівалентності називається сукупність пар об'єктів, в яких обидва об'єкти еквівалентні у всіх вихідних кластерізованних ранжировках.
Розглянутий алгоритм узгодження деякого числа кластерізованних ранжировок складаються з трьох етапів.
На першому виділяються суперечливі пари об'єктів у всіх парах кластерізованних ранжировок і формуються (попарні) ядра протиріч.
На другому формуються кластери підсумкової кластерізованной ранжировки (тобто класи еквівалентності - зв'язкові компоненти графа, відповідного об'єднання попарних ядер протиріч і ядра загальної еквівалентності).
На третьому етапі ці кластери (класи еквівалентності) упорядковуються. Для встановлення порядку між кластерами довільно вибирається один об'єкт із першого кластера і другий - з другого, порядок між кластерами встановлюється такою ж, якою має бути між обраними об'єктами в будь-який з розглянутих кластерізованних ранжировок. Відзначимо, що в деяких з вихідних кластерізованних ранжировок вибрані об'єкти можуть бути еквівалентні (тобто знаходитися в одному кластері)). У такому випадку треба розглянути упорядкованість цих об'єктів в будь-хто інший з вихідних кластерізованних ранжировок. Якщо ж вони еквівалентні у всіх вихідних ранжировках, то входять в ядро ​​загальної еквівалентності і будуть еквівалентні і в підсумковій кластерізованной ранжировки, що забезпечується виконанням процедур другого етапу.
Коректність подібного упорядкування, тобто його незалежність від вибору тієї чи іншої пари об'єктів, випливає з відповідних теорем, доведених у статті [3].
Визначення 4. Результат застосування алгоритму узгодження до сукупності вихідних кластерізованних ранжировок називається кластерізованной ранжировки, узгодженої з вихідними (в іншому формулюванні - узгоджує вихідні ранжировки).
Результат узгодження кластерізованних ранжировок А, В, С, ... позначимо f (А, В, С,..). Ядра протиріч виписані вище. Ядро загальної еквівалентності виникає лише при розгляді ранжировок А і С. Воно складається з пари (5,7), оскільки об'єкти 5 і 7 (і лише вони) еквівалентні і в А, і в С. Тоді
f (А, В) = [1 <2 <3 <4 <5 <6 <7 <{8, 9} <10],
f (А, С) = [{1,3} <{2, 4} <6 <{5,7} <8 <9 <10],
f (В, С) = [{1,2,3,4} <{5,6} <7 <{8,9} <10],
f (А, В, С) = f (В, С) = [{1,2,3,4} <{5,6} <7 <{8, 9} <10].
У випадку f (А, В) додаткового вивчення з метою впорядкування вимагають тільки об'єкти 8 і 9. У випадку f (В, С) об'єкти 1,2,3,4 об'єдналися в один кластер, тобто кластерізованние ранжировки виявилися настільки суперечливими, що процедура погодження не дозволила провести досить повну декомпозицію задачі знаходження підсумкового думки експертів.
Розглянемо деякі властивості алгоритмів узгодження.
1. Нехай D = f (А, В, C,..). Якщо a <b в узгоджуючої кластерізованной ранжировки D, то a <b або a = b в кожній з вихідних ранжировок А, В, C, ...
2. Побудова узгоджуючих кластерізованних ранжировок може здійснюватися поетапно. Зокрема, f (A, B, C) = f (f (A, B), f (A, C), f (B, C)). Ясно, що ядро ​​суперечностей для набору кластерізованних ранжировок є об'єднанням таких ядер для всіх пар аналізованих ранжировок, а ядро ​​загальної еквівалентності - перетином таких ядер для всіх пар аналізованих ранжировок.
3. Побудова узгоджуючих кластерізованних ранжировок націлене на виділення загального впорядкування у вихідних кластерізованних ранжировках. Однак при цьому деякі загальні властивості вихідних кластерізованних ранжировок можуть втрачатися. Так, при узгодженні ранжировок В і С, розглянутих вище, протиріччя в упорядкуванні елементів 1 і 2 не було - в ранжировки У ці об'єкти входили в один кластер, т.е.1 = 2, у той час як 1 <2 в кластерізованной ранжировки С. Значить, при їх окремому розгляді можна прийняти впорядкування 1 <2. Однак у f (В, C) вони потрапили в один кластер, тобто можливість їх упорядкування зникла. Це пов'язано з поведінкою об'єкта 3, який "перескочив" в С на перше місце і "захопив з собою в протиріччя" пару (1, 2), утворивши суперечливі пари і з 1, і з
2. Іншими словами, зв'язкова компонента графа, відповідного ядру протиріч, сама по собі не завжди є повним графом. Відсутні ребра при цьому відповідають парам типу (1, 2), які самі по собі не є суперечливими, але "захоплюються в протиріччя" іншими парами.
4. Необхідність узгодження кластерізованних ранжировок виникає, зокрема, при розробці методики застосування експертних оцінок в задачах екологічного страхування і хімічної безпеки біосфери. Пояснимо, як виникає ця необхідність. Як вже говорилося, популярним є метод впорядкування за середніми рангах, в якому підсумкова ранжировка будується на основі середніх арифметичних рангів, виставлених окремими експертами. Однак з теорії вимірювань відомо (див. вище главу 3), що більш обгрунтованим є використання не середніх арифметичних, а медіан. Разом з тим метод середніх рангів дуже відомий і широко застосовується, тому що просто відкинути його недоцільно. Тому було прийнято рішення про одночасне застосування обох методів. Реалізація цього рішення зажадала розробки методики узгодження двох зазначених кластерізованних ранжировок.
5. Область застосування даного методу не обмежується експертними оцінками. Він може бути використаний, наприклад, для побудови банку знань з метою використання в задачах екологічного страхування потрібно було розробити методику порівняння економетричних, економіко-математичних моделей і математичних моделей в суміжних областях. Зокрема, для розрахунку економічного збитку від аварій використовувалися математичні моделі процесу випаровування рідини. Як порівнювати якість таких моделей? Були дані експериментів і результати розрахунків по 8 математичним моделям. Порівнювати моделі можна за різними критеріями якості. Наприклад, за сумою модулів відносних відхилень розрахункових та експериментальних значень. Можна і по іншому - в кожній експериментальної точці порядок моделі за якістю, а потім отримувати єдину оцінку методами середніх рангів і медіан. Використовувалися й інші методи. Потім застосовувалися методи узгодження отриманих кластерізованних ранжировок. У результаті виявилося можливим упорядкувати моделі за якістю і використовувати це впорядкування при розробці банку математичних моделей, використовуваного в задачах хімічної безпеки біосфери.
6. Розглянутий метод узгодження кластерізованних ранжировок побудований відповідно до методології теорії стійкості, згідно з якою результат обробки даних, інваріантний щодо методу обробки, відповідає реальності, а результат розрахунків, що залежить від методу обробки, відображає суб'єктивізм дослідника, а не об'єктивні співвідношення.