1   2   3   4   5   6   7
Ім'я файлу: Стат-часть1.docx
Розширення: docx
Розмір: 1259кб.
Дата: 20.05.2022
скачати

8.2. Обработка и анализ результатов экспертизы.

Основная задача: выявление общего мнения экспертов, оценка согласованности экспертов, выделение наиболее оригинальных экспертов или распределение экспертов на группы по близости ответов и содержательный анализ этих распределений (почему они в одной группе и почему такие результаты).

Рассмотрим варианты, когда эксперты ранжируют объекты, оценивают по балльной шкале и попарно сравнивают.

8.2.1. Ранжирование объектов.

Рассмотрим случай, когда эксперты ранжируют объекты строго, т.е. указывают номер места, которое занимает данный объект по важности. Обозначим:

число объектов;

число экспертов;

ранг, присвоенный м экспертом у объекту.

Результаты сводят в таблицу:

.

Затем находят суммы рангов по столбцам: где .

Объекты ранжируют в соответствии с суммами рангов: объект предпочтительнее объекта , если ; объекты и эквивалентны, если .

Далее необходимо оценить согласованность экспертов.

Пусть все эксперты совершенно согласованы, т.е. дают одинаковые ранги объектам. В этом случае суммы рангов по столбцам будут: , т.е. в одном столбце все единицы, в другом только двойки и т.д.

Сумма чисел в одной строке: .

Общая сумма рангов во всей матрице: .

Если эксперты полностью рассогласованы, то ранги равны:

. (8.1)

Разброс мнений экспертов будем характеризовать следующим образом. Найдем отклонение суммы рангов в таблице от : . Так как разности будут разного знака, то суммируют квадраты разностей

. (8.2)

Если эксперты полностью согласованы, то сумма максимальна. Если эксперты полностью рассогласованы, то . Обозначим наибольшее значение , соответствующее случаю полной согласованности экспертов.

Для оценки согласованности экспертов вводится коэффициент конкордации (согласованности):

. (8.3)

Если , то полное отсутствие согласованности. Если , то полная согласованность.

Найдем

первый член суммы –

второй –

и т.д.

.....................................................

.

После суммирования получим: . Окончательно получаем:

. (8.4)

Если эксперты неквалифицированны и друг от друга не зависят, то тогда можно рассматривать как случайную величину , для которой известно распределение.

Можно найти вероятность того, что значение коэффициента конкордации получено случайно, т.е. вероятность

.

Значение можно рассматривать, как доверительную вероятность. Если она достаточно мала, а достаточно велико, то предположение об отсутствии согласованности отклоняется. Обычно согласованность считают удовлетворительной, если и и хорошей, если и .

Для малых значений и составлены специальные таблицы распределения , например, таблица значений коэффициента конкордации, для которых вероятность ошибки при принятии гипотезы о согласованности мнений экспертов не превосходит 0,05.

\

3
4
5
6
7

3
-
-
0,71
0,66
0,65

4
-
0,625
0,55
0,51
0,505

5
-
0,504
0,448
0,416
0,411

6
-
0,422
0,378
0,351
0,347

8
0,375
0,319
0,288
0,267
0,264

10
0,3
0,256
0,231
0,215
0,213

При можно считать, что величина имеет распределение близкое к распределению с степенями свободы.

Пример 8.1. Пять экспертов ранжировали восемь объектов . Результаты приведены в таблице.

Объект →
1
2
3
4
5
6
7
8

Эксперт ↓

1
5
7
1
6
2
3
8
4

2
3
1
7
2
4
6
8
5

3
4
6
1
5
3
7
8
2

4
3
8
5
7
4
1
6
2

5
6
4
2
8
1
3
7
5



21
26
16
28
14
20
37
18



5
6
2
7
1
4
8
3

Находим ранг объектов при полном рассогласовании экспертов (8.1): .

Сумма отклонений (8.2):

Коэффициент конкордации (8.4): . .

Число степеней свободы .

По таблицам (Приложение ) находим .

Вероятность слишком велика. Для сближения оценок экспертов нужно провести дополнительный тур оценивания, либо исключить второго эксперта, как слишком “оригинального”.

После исключения второго эксперта получаем новую таблицу :

Объект →
1
2
3
4
5
6
7
8

Эксперт ↓

1
5
7
1
6
2
3
8
4

2
4
6
1
5
3
7
8
2

3
3
8
5
7
4
1
6
2

4
6
4
2
8
1
3
7
5



18
25
9
26
10
14
29
13



5
6
1
7
2
4
8
3

Производим все вычисления в таком же порядке:

;

;

;

Число степеней свободы .

По таблицам (Приложение ) находим . Согласованность экспертов значительно лучше.


8.2.2. Оценивание по балльной шкале.

Эксперты оценивают объекты в произвольной балльной шкале. Затем результаты нормируются, т.е. делятся на сумму баллов по всем объектам для конкретного эксперта. После нормировки результаты сводятся в таблицу.

,

где это нормированный балл, присвоенный экспертом объекту .

Нормировка означает, что для всех .

В такой таблице информации больше, чем при ранжировании. Балльная шкала является промежуточной между количественной и порядковой шкалами, поэтому обработку результатов рекомендуется производить дважды:

1) обрабатывать их как количественные данные, используя обычные методы статистики для обработки результатов измерения;

2) обрабатывать методами для порядковых (ранговых) оценок. Предварительно следует перейти к таблице ранжирования.

Если результаты, полученные обоими путями близки друг к другу, то это означает, что полученные выводы основаны на исходной информации, а не на методах ее обработки. Если не совпадают, то следует выяснить причину этого.

При обработке по первому методу обычно используют средний балл:

. (8.5)

Разброс значений для этого объекта характеризуется величиной вариации:

, (8.6)

где . (8.7)

Обычно считают, что надежность оценок удовлетворительная, если все и хорошая, если все .

Пример 8.2. Четыре эксперта оценили восемь объектов по десятибалльной шкале ( ). Результаты приведены в таблице.

Объект →
1
2
3
4
5
6
7
8


Эксперт ↓

1
10
3
7
9
2
8
1
4
44

2
8
5
6
9
3
7
2
4
44

3
7
5
10
9
3
8
2
4
48

4
10
5
7
9
6
8
3
4
52

Перейдем к нормированным оценкам:

Объект →
1
2
3
4
5
6
7
8

Эксперт ↓

1
0,227
0,068
0,159
0,205
0,045
0,182
0,023
0,091

2
0,182
0,114
0,136
0,205
0,068
0,159
0,045
0,091

3
0,146
0,104
0,208
0,188
0,063
0,167
0,042
0,083

4
0,192
0,096
0,135
0,173
0,115
0,154
0,058
0,077



0,187
0,096
0,16
0,193
0,073
0,166
0,042
0,086



0,033
0,02
0,034
0,015
0,03
0,012
0,015
0,007



0,176
0,208
0,213
0,078
0,411
0,072
0,357
0,081

Результаты вычислений по формулам (8.5) – (8.7) запишем в эту же таблицу.

Те же результаты обработаем вторым методом. Для этого перейдем к ранговой шкале.

Объект →
1
2
3
4
5
6
7
8

Эксперт ↓

1
1
6
4
2
7
3
8
5

2
2
5
4
1
7
3
8
6

3
4
5
1
2
7
3
8
6

4
1
6
4
2
5
3
8
7



8
22
13
7
26
9
32
24



2
5
4
1
7
3
8
6

;

;

;

Число степеней свободы .

По таблицам (Приложение ) находим .

Результаты обработки обоими методами совпадают.



8.2.3. Парные сравнения.

Номер эксперта обозначим . Эксперт сравнивает каждую пару объектов и . Его оценка может выражать:

а) просто факт предпочтения объекта по сравнению с объектом : . Если наоборот, то .

б) балльную оценку предпочтения: .

в) долю суммарной интенсивности предпочтения, приходящуюся на объект : .

г) во сколько раз один объект важнее другого: .
По результатам экспертизы определяют средние арифметические оценки по всем экспертам:

: например, , где число экспертов.

Случай а) сводится к случаю в), если трактовать как долю экспертов, предпочитающих объект перед объектом .

Случай б) сводится к в) после введения таких оценок: .

Случай в) сводится к г) при использовании оценок: .

Поэтому рассмотрим обработку результатов экспертизы применительно к случаю г).

Ясно, что в идеальном случае должно выполняться условие транзитивности:

, (8.8)

в частности , откуда , т.е. в матрице на диагоналях стоят 1.

Если условие (8.8) выполняется, то существует такой положительный вектор , что , где число объектов. Компоненты вектора это как-бы идеальные оценки объектов (количественные характеристики ценности или важности объектов).

Реальная матрица условию (8.8) обычно не удовлетворяет, и ее приходится аппроксимировать идеальной матрицей, используя, например, следующие соображения.

Для идеальной матрицы справедливы равенства для любого :

. (8.9)

Эти равенства можно записать так:

. (8.10)

Собственный вектор матрицы – это такой, который при умножении на матрицу направления не меняет, а меняет только свою величину. Изменение величины называется собственным числом матрицы. Для идеальной (состоятельной) матрицы собственное число равно .

Для матрицы, удовлетворяющей условию (8.8), число является наибольшим характеристическим числом, а искомый вектор собственным вектором (8.10).

Из теоремы Перрона-Фробениуса следует, что любая матрица имеет наибольшее характеристическое число . Поэтому для матрицы, не удовлетворяющей условию (8.8), вектор ищется путем решения уравнения:

, (8.11)

причем все компоненты такого вектора обязательно оказываются положительными.

Существуют специальные методы решения уравнения (8.11). Мы воспользуемся итеративным методом, суть которого заключается в последовательном приближении

и .

и получаются на й итерации в соответствии с формулой

, (8.12)

где сумма всех компонент вектора , а в качестве можно взять любой положительный вектор, например, .

Итеративный процесс заканчивается, когда вектор перестает изменяться для заданной точности. Величина характеризует степень близости матрицы к идеальной (состоятельной), т.е. удовлетворяющей условию (8.8).


Пример 8.3. Четыре объекта сравниваются двумя экспертами. Требуется определить коэффициенты важности объектов. Получены следующие результаты:

и .

Определяем средний балл . Выбираем .

. и . Далее повторяем итерации.
. и . . и .

Изменения прекратились и вычисления можно закончить.






1   2   3   4   5   6   7

скачати

© Усі права захищені
написати до нас