Психометричне обгрунтування діагностичних методик

Контрольна робота з психодіагностики
Психометричний ОБГРУНТУВАННЯ ДІАГНОСТИЧНИХ МЕТОДИК

1. ТРУДНОЩІ тестових завдань
Теоретична довідка
Визначення ступеня труднощі тестових завдань є обов'язковою процедурою, з якої починається аналіз якості розроблюваного тесту. Основна мета аналізу труднощі завдань зводиться до вибору оптимальних за складністю завдань, які потім можна було б упорядкувати по наростанню складності. Тест не повинен включати занадто легкі і дуже важкі завдання. Зазвичай, якщо завдання вирішує більшість, її поміщають (як легку) на початку тесту. Якщо завдання вирішує незначний відсоток випробуваних, то її (як важку) вміщують у кінці тесту.
Труднощі завдання визначається числом правильних відповідей на дане завдання в порівнянні із загальним обсягом вибірки за формулою:

,
де

- Кількість випробовуваних, що дали правильну відповідь,

- Загальна кількість випробовуваних.
Чим легше завдання, тим вище цей показник (А. Анастазі, 1982). Для більшості тестів прийнято, що завдання з

від 0,8 до 0,2 вважаються задовільними. Тобто завдання, з якими не впоралося більше 80% і менше 20% піддослідних, в тест не включають як мало корисні. Анастазі вважає, що рівень труднощі повинен мати певний розкид, але в середньому він повинен складати 0,5. Саме в цьому випадку, тест забезпечує кращу диференціацію результатів (див. нижче про діскрімінатівності тесту).
Якщо при складанні тесту необхідно розташувати його завдання в порядку зростання труднощі, то тоді необхідно порівняти наскільки одне завдання важче інший. Для цього використовують статистичні критерії, спеціально призначені для оцінки значущості відмінностей. У даному випадку, частіше використовують критерій хі-квадрат Мак-Немари:
([B - c] -1) 2
c2 = ¾ ¾ ¾ ¾, де
b + c
де b - кількість вирішили перше завдання, але не вирішили другу, c - кількість вирішили друге завдання, але не вирішили першу.
При χ2> 6,63 [1] відмінності в індексах труднощі двох завдань слід вважати достовірними.
Завдання 1. Розрахунок індексу труднощі завдань
Мета завдання: оволодіння прийомами розрахунку індексу труднощі завдань та їх порівняння.
Оснащення: мікрокалькулятор, таблиця первинних результатів (таблиця № 1).
Таблиця № 1
Первинні результати дослідження за допомогою тесту Равена

Випробуваний

Номер завдання

Частота решаемости

Порядок роботи:
1. Розраховуємо індекси труднощі всіх 12 завдань.
За формулою

Номер завдання	1	2	3	4	5	6	7	8	9	10	11	12
частота рішення (Nn)	20	16	19	20	11	15	11	8	13	18	16	17

U1 = 20/20 = 1 U2 = 16/20 = 0,8 U3 = 19/20 = 0,95 U4 = 20/20 = 0,55 U5 = 11/20 = 0,55 U6 = 15/20 = 0 , 75
U7 = 11/20 = 0,55 U8 = 8 / 20 = 0,4 U9 = 13/20 = 0,65 U10 = 18/20 = 0,9 U11 = 16/20 = 0,8 U12 = 17/20 = 0,85
2. Виділяємо завдання, індекс труднощі

яких виявився оптимальним або близьким до оптимального для даної вибірки випробовуваних.

: № 2, № 5, № 6, № 7, № 8, № 9, № 11
Форма протоколу

Номер завдання	1	2	3	4	5	6	7	8	9	10	11	12
Індекс труднощі	1	0,8	0,95	1	0,55	0,75	0,55	0,4	0,65	0,9	0,8	0,85
ранг труднощі	1,5	6,5	3	1,5	10,5	8	10,5	12	9	4	6,5	5

3. Проранжировать завдання за принципом зростаючої труднощі.

Індекс труднощі	1	1	0,95	0,9	0,85	0,8	0,8	0,75	0,65	0,55	0,55	0,4
ранг труднощі	1,5	0,5	3	4	5	6,5	0,55	8	9	10,5	10,5	12
Номер завдання	1	4	3	10	12	2	11	6	9	5	7	8

4. Порівняти індекси труднощі найважчим і найлегшою завдання, використовуючи критерій

Мак-Немари. Найлегші завдання № 1 і № 4, так як їх вирішили все. Сама важка задача № 8, вирішили вісім чоловік. Порівняємо індекси труднощі
([B - c] -1) 2 ([12 - 0] -1) 2
c2 = ¾ ¾ ¾ ¾ = ¾ ¾ ¾ ¾ = 10,083
b + c 12 + 0
5. Оформити протокол і зробити висновки про те, індекс труднощі яких завдань виявився оптимальним для даної вибірки досліджуваних; які завдання були найлегшою і найважчою для них; яка достовірність відмінностей між найважчим і легким завданням.
6. Висновок: 10,083 більше, ніж 6,63 означає, відмінності в індексах труднощі слід вважати достовірним.

2. ДІСКРІМІНАТІВНОСТЬ тестових завдань

Теоретична довідка
При розробці тесту необхідно прагнути до того, щоб його завдання як можна тонше вимірювали тестоване властивість. Наприклад, якщо в результаті обстеження майже всі випробувані отримують приблизно однакові результати, то це означає, що тест вимірює дуже грубо. Чим більша кількість градацій результатів можна отримати за допомогою тесту, тим вища його роздільна здатність. Міра тонкощі вимірювання (або ступінь діффіренціруемості результатів) тесту називається в психометрики діскрімінатівностью. Діскрімінатівность тесту вимірюється показником дельта Фергюсона:

,
де N - кількість випробовуваних, n - кількість завдань, fi - частота зустрічальності кожного показника.
Найменша діскрімінатівность тесту при δ = 0, найбільша при δ = 1.
Завдання 2. Розрахунок індексу діскрімінатівності завдань.
Мета завдання: оволодіння навичкою розрахунку індексу діскрімінатівності.
Оснащення: мікрокалькулятор, таблиця первинних результатів (таблиця № 2).
Первинні результати дослідження з субтесту «Арифметичні задачі», які виконували 122 випробовуваних.

Таблиця № 2

Кількість балів	0		1		2		3		4		5		6		7		8		9		10		11		12
Частота народження	0		0		1		4		1		3		4		5		6		4		8		7		11
Кількість балів	13	14		15		16		17		18		19		20		21		22		23		24		25
Частота народження	6	10		8		9		7		6		5		5		4		4		0		3		1

Порядок роботи:
1. Складіть таблицю.
2. Підрахуйте, як часто зустрічаються значення показників для даного тесту.
3. Зведіть ці числа в квадрат і проссуміруйте: Σ f ².
4. Додайте 1 до кількості завдань: n + 1.
5. Зведіть в квадрат кількість досліджуваних: N ².
6. Помножте на кількість завдань результат кроку 4: n N ²
7. Тепер у нас є всі елементи формули. Підставте їх і розрахуйте коефіцієнт.
8. Зробіть висновок про діскрімінатівності субтеста «Арифметичні задачі».
Розраховуємо за формулою: Фергюсона:

X	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24	25
	0	1	4	1	3	4	5	6	4	8	7	11	6	10	8	9	7	6	5	5	4	4	0	3	1
2	0	1	16	1	9	16	25	36	16	64	49	121	36	100	64	81	49	36	25	25	16	16	0	9	1

N - кількість випробовуваних N = 122, n - кількість завдань n = 25, fi - частота зустрічальності кожного показника. Σ f ² = 812
2
δ = (25 +1) х (122-812) = 0,98
25х122
Висновок: δ = 0,98 даний показник вказує на високу діскрімінатівность, так як найбільша діскрімінатівность при δ = 1. Показник δ = 0,98 наближається до одиниці.
3. НАДІЙНІСТЬ тестових завдань
Теоретична довідка
Під надійністю тесту розуміється ступінь точності, з якою тест вимірює певну властивість чи якість. Надійність тесту - це характеристика точності його як вимірювального інструмента, його стійкість до дії завад (як зовнішніх, так і внутрішніх). Емпіричне визначення надійності тесту є обов'язковою умовою його допуску для використання в практичній діяльності психолога.
Завдання 3. Розрахунок коефіцієнтів надійності
Мета завдання: оволодіння прийомами розрахунку коефіцієнтів надійності завдань за допомогою розщеплення тесту на дві частини (надійність частин тесту).
Оснащення: мікрокалькулятор, таблиця первинних результатів (таблиця № 3).

Таблиця № 3
Первинні результати дослідження за допомогою тесту Равена (n = 36, N = 80).

Номер задачі	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18
fi	78	80	77	79	80	76	60	56	63	70	58	45	79	80	68	50	72	41
Номер задачі	19	20	21	22	23	24	25	26	27	28	29	30	31	32	33	34	35	36
fi	33	44	26	44	12	27	73	65	41	52	37	14	22	15	49	18	27	8

Порядок роботи:
1 . Розділити завдання з Таблиці № 3 на дві частини - непарні (X) і парні (Y).
2. Обчислити середні арифметичні для кожної частини (

). Результати обчислень занесіть в наступну таблицю:
Обчислюємо середні арифметичні для кожної частини (

	Хi	Хi -	(Хi - ) 2	Yi	Yi -	(Yi - ) 2	(Хi - ) (Yi - )
1	78	25	625	80	32	1024	800
2	77	24	576	79	31	961	744
3	80	27	729	76	28	784	756
4	60	7	49	56	8	64	56
5	63	10	100	70	22	484	220
6	58	5	25	45	-3	9	-15
7	79	26	676	80	32	1024	832
8	68	15	225	50	2	4	30
9	72	19	361	41	-7	49	-133
10	33	-20	400	44	-4	16	80
11	26	-27	729	44	-4	16	108
12	12	-41	1681	27	-21	441	861
13	73	20	400	65	17	289	340
14	41	-12	144	52	4	16	-48
15	37	-16	256	14	-34	1156	544
16	22	-31	961	15	-33	1089	1023
17	49	-4	16	18	-30	900	120
18	-26	676	8	-40	1600	1040
	= 53		Σ = 8629	= 48		Σ = 9926	Σ = 7358

= 955/18 = 53

= 864/18 = 48;
3. Обчислити стандартні відхилення для кожної частини (

) За формулою:

,
де

- Різниця між значеннями варіанти і середньої арифметичної величиною непарної і парному частин тесту,

- Кількість завдань в непарному і парному частинах тесту.
Обчислюємо стандартні відхилення для кожної частини (

) За формулою:

,
n - кількість завдань в непарному і парному частинах тесту = 18

(Для непарної частини тесту) =

22,5

(Для парному частини) =

= 24,16

24,2
4. Обчислити коефіцієнт повної кореляції між частинами тесту використовуючи формулу
Пірсона:

,
де

- Різниця між значеннями варіанти і середньої арифметичної величиною непарної частини тесту,

- Різниця між значеннями варіанти і середньої арифметичної величиною парному частини тесту.
Обчислюємо коефіцієнт повної кореляції між частинами тесту використовуючи формулу
Пірсона:

, =

= 0,795

0,8
0,8 коефіцієнт повної кореляції між частинами тесту.
5. Обчислити коефіцієнти надійності, використовуючи такі формули:
а) Спірман - Брауна: де

- Коефіцієнт кореляції за Пірсоном,

- Стандартні відхилення непарних і парних завдань,

- Загальна кількість завдань у тесті.
6. Зробіть висновок про надійність тесту Равена.
а) Спірман - Брауна:

= 0,88

0,9
б) Фланаган:

Висновок: тест Равенна можна вважати надійним, тому що коефіцієнти надійності наближаються до одиниці.

4. СТАНДАРТИЗАЦІЯ тестових шкал

Теоретична довідка
Стандартизація тестових шкал - це створення таких критеріїв (таблиць), за якими можна буде перетворювати первинні результати виконання тесту у відносні оцінки.
Наприклад, випробуваний виконав 16 завдань тесту математичних досягнень з 32 і отримав за це 16 балів з 32 максимально можливих. Таким чином, виходить, що він виконав половину всіх завдань, - 50%. Чи означає це, що його досягнення можна оцінити як СЕРЕДНІЙ РІВЕНЬ? Відповідь на це питання буде залежати від того, з чим саме ми будемо порівнювати отриманий випробуваним результат, з чим будемо його співвідносити. Якщо співвідносити з максимально можливим балом, то дійсно можна буде сказати, що у випробуваного середній рівень математичних досягнень. Ну, а сіли порівняти з результатами інших піддослідних? Наприклад, однакових з ним за віком, статтю, соціальним станом і т.п.? Цілком може виявитися, що в цьому випадку наш випробуваний має низький або високий рівень досягнень. Все буде залежати від того, скільки ще людей з порівнюєш вибірки набрали такі ж результати, скільки - набрали нижче, скільки - набрали вище. Таким чином, по-перше, необхідно мати дані про результативність виконання тесту певної вибіркою досліджуваних, з якою ми будемо співвідносити наші результати. А по-друге, ці дані про результативність ми повинні якось розділити на рівні рівні за ступенем результативності. При цьому кількість рівнів може бути різним - 5 рівнів результативності, 9, 10 або 100. І потім, порівнявши отримані конкретним випробуваним бали, ми можемо визначити його місце в тій вибіркою, з якою його співвідносимо. У даній роботі пропонується познайомитися з методами поділу розподілу результативності виконання тесту на окремі рівні.
1.Наіболее простим способом нормування (поділу розподілу на рівні) є шкала процентилей. Процентиль - це точка на числовій шкалою, що складається з 100 рівнів. Ранг показника в процентилей визначається процентним відношенням у нормативній групі тих випробовуваних, які отримали більш низький показник. Наприклад, 15 процентиль (Р15) означає, що 15% з нормативної вибірки отримали показники нижче даного. Обчислення процентилей трохи складніше, ніж його визначення. Воно виражається наступною формулою:
Pp = L +

,
де Pp - шукана величина на шкалі процентилей, L - фактична нижня межа інтервалу оцінок, що містить частоту rn, pn - твір загальної кількості даних n на відносну частоту (т.е.p/100), f cum - накопичена до L частота, f - частота оцінок в інтервалі, що містить оцінку rn.
Розрахунок рекомендується проводити за таким алгоритмом:
а) Упорядкувати отримані результати за зростанням.
б) Кожному первинному результату прирівняти його частоту, т.е.колічество піддослідних отримали такий же результат;
в) Виробити накопичення частот
г) Підставити значення у формулу.

ПРИКЛАД

Викладач запропонував 125 учням контрольне завдання, що складається з 40 питань. В якості оцінки тесту вибиралося кількість питань, на які були отримані правильні відповіді. Розподіл частот різних результатів наводиться в таблиці № 4. Необхідно визначити який 25-й процентиль в групі 125 оцінок, тобто чому дорівнює Р25. Р25 - це точка, нижче якої лежать 25% 125 оцінок.
Таблиця № 4.
Оцінки з тесту та їх частоти.

оцінки по тесту	частота f	накопичена частота fcum
38 37 36 35 34 33 32 31 30 29 28 27 26 25 24	1 1 3 5 9 8 17 23 24 18 10 3 1 0 2	125 124 123 120 115 106 98 81 58 34 16 6 3 2 2

Обчислення будь-якого процентилей спроститься, якщо побудувати розподіл накопичених частот. Накопичені частоти до будь-якої заданої оцінці представляють собою сумарну кількість частот на цій оцінці і нижче її. У третьому стовпці таблиці вказані накопичені частоти для 125 оцінок контрольного завдання. Так, наприклад тестову оцінку 33 і менше отримало 106 учнів.
Обчислення Р25 можна виконати за 5 кроків:
Крок 1. r = 0,25, rn = 0,25 n = 0,25 X125 = 31,25
Крок 2. Знайти фактичну нижню межу розряду оцінок, що містить випробуваного з оцінкою 31,25 знизу: так як 16 чоловік мають оцінки 28 або менше, а 34 - оцінки 29 або менше, то частота 31,25 лежить в інтервалі розряду оцінок 28,5 - 29, 5.
L = 28,5
Крок 3. Відняти накопичену до L частоту з 31,25
31,25 - 16 = 15,25
Крок 4. Розділити результат 3-го кроку на частоту f в інтервалі, що містить оцінку 31,25

= 0,85
Крок 5. Додати результат 4-го кроку до L
Р25 = 28,5 + 0,85 = 29,35
Шкала процентилей дозволяє оцінити окремий індивідуальний результат щодо інших індивідуальних результатів у досліджуваній вибірці. Найбільшим недоліком шкали процентилей є те, що вона не відображає форми первинного розподілу результатів. Розподіл процентилей завжди рівномірно (прямокутно), тоді як розподіл для багатьох тестів наближається до нормального і невеликі відхилення від середнього значення сильно збільшуються процентиль, а відносно великі відхилення, навпаки, стискаються. Процентилі можуть таким чином спотворити результати і тому їх використання не рекомендується.
2. Найбільш поширеними перетвореннями первинних оцінок є центрування і нормування за допомогою середньоквадратичних відхилень (z-перетворення). Під центруванням розуміється лінійна трансформація величин ознаки, при якій середня величина розподілу стає рівною нулю. Так, якщо при обстеженні групи випробовуваних за допомогою знову розробляється тесту, середній результат по групі дорівнює 17 «сирих» балів, то ця величина може бути обрана в якості центру відліку шкали, в обидві сторони від якої симетрично розташовуються значення більше і менше середнього. Для z-перетворення застосовується наступна формула:

де

- Різниця між первинним результатом тестового вимірювання та середньої арифметичної величиною,

- Стандартне відхилення для даної вибірки.
Незручність подальшої роботи зі стандартною шкалою полягає в тому, що доводиться оперувати негативними і позитивними величинами, а також нулем.
Від стандартної z-шкали легко здійснити перехід до будь-якої іншої, більш зручною шкалою. Для цього використовується лінійне перетворення типу

,
де a> 0,0, константи a та b - довільні дійсні числа, вибір яких визначається виключно зручністю подальшої роботи зі шкалою.
У практиці психологічного тестування використовують ряд так званих нормалізованих шкал: T-шкала, шкала Векслера, шкала Амтхауера, шкала стіною, шкала станайнов та ін
Завдання № 4 Стандартизація тестових шкал
Оцінки з тесту та їх частоти

оцінки по тесту	частота f	накопичена частота fcum
38 37 36 35 34 33 32 31 30 29 28 27 26 25 24	1 1 3 5 9 8 17 23 24 18 10 3 1 0 2	125 124 123 120 115 106 98 81 58 34 16 6 3 2 2

На основі даних таблиці розраховуємо процентилі: Pp = L +

,
Крок 1. Рр = 5/100х125 = 6,25
Крок 2. Знаходимо нижню межу розряду оцінок містить випробуваного з оцінкою 6,25 знизу: тому що 6 чоловік мають оцінки 27 або менше, а 16 чоловік - оцінки 28 або менше, то частота 6,25 лежить в інтервалі (27-28) отже, L = (27 +28) / 2 = 27,5.
Крок 3. Віднімаємо накопичену до L частоту з 6,25 6,25-6 = 0,25, де 6 = f cum
Крок 4. Розділимо результати третього кроку на частоту f в інтервалі, що містить оцінку 6,25 0,25 / 10 = 0,05, де f = 10.
Крок 5.Р5 = 27,5 +0,025 = 27,525

27,53
Таким, чином, 5% піддослідних мають оцінку 27,53 і нижче
Р10 = 27,5 + (12,5-6) / 10 = 27,5 +0,65 = 28,15
Р20 = 28,5 + (25-16) / 18 = 28,5 +0,5 = 29
Р30 = 29,5 + (37,5-34) / 24 = 29,5 +0,145

29,65
Р40 = 29,5 + (50-34) / 24 = 29,5 +0,66

30,17
Р50 = 30,5 + (62,5-58) / 23 = 30,5 +0,195

30,7
Р60 = 30,5 + (75-58) / 23 = 30,5 +0,74

31,24
Р70 = 31,5 + (87,5-81) / 17 = 31,5 +0,38

31,88
Р80 = 32,5 + (100-98) / 8 = 32,5 +0,25 = 32,75
Р90 = 33,5 + (112,5-106) / 9 = 33,5 +0,72 = 34,2
Р95 = 34,5 + (118,75-115) / 5 = 34,5 +0,75 = 32,25
Р100 = 38
Завдання 4. Побудова шкали процентилей
Мета завдання: оволодіння прийомами стандартизації тестових шкал на прикладі побудови шкали процентилей.
Оснащення: мікрокалькулятор, таблиця первинних результатів (таблиця № 4).
Порядок роботи:
1. На основі даних таблиці № 4, розрахувати P1, P5, P10, P20, P30, P40, P50, P60, P70, P80, P90, P95, P100.
2. На основі отриманих даних побудувати шкалу процентилей.

24 38

P1 P100
Завдання 5. Побудова нормалізованих шкал
Мета: оволодіння прийомами перетворення первинних результатів у нормалізовані шкали.
Оснащення: мікрокалькулятор, таблиця первинних результатів (таблиця № 4).
Порядок роботи:
1. Провести лінійне перетворення первинних результатів (z-трансформацію):
1) обчислити середню арифметичну величину (

);
2) розрахувати середньоквадратичне (стандартне) відхилення за формулою:

,
де

- Різниця між значеннями варіанти і середньої арифметичної величиною,

- Частота варіанти,

- Кількість варіант.
1. Провести лінійне перетворення первинних результатів (z-трансформацію):

Частота
1	38	7	49	49
1	37	6	36	36
3	36	5	25	75
5	35	4	16	80
9	34	3	9	81
8	33	2	4	32
17	32	1	1	17
23	31	0	0	0
24	30	-1	1	24
18	29	-2	4	72
10	28	-3	9	90
3	27	-4	16	48
1	26	-5	25	25
0	25	-6	36	0
2	24	-7	49	98

= 465/15 = 31

= 727
2) розрахуємо середньоквадратичне (стандартне) відхилення за формулою:

,
де

- Різниця між значеннями варіанти і середньої арифметичної величиною,

- Частота варіанти,

- Кількість варіант.

= 7,206
2) провести лінійне перетворення за формулою:

,
де

- Різниця між первинним результатом тестового вимірювання та середньої арифметичної величиною,

- Стандартне відхилення для даної вибірки.
Результати обчислень занести в таблицю.

	z	T	IQ	Z
38	0,96	59,6	114,4	109,6
37	0,83	58,3	112,5	108,3
36	0,69	56,9	110,4	106,9
35	0,55	55,5	108,3	105,5
34	0,41	54,1	106,2	104,1
33	0,28	52,8	104,2	102,8
32	0,14	51,4	102,1	101,4
31	0	50	100	100
30	-0,14	48,6	97,9	98,6
29	-0,28	47,2	95,8	97,9
28	-0,41	45,9	93,8	95,9
27	-0,55	44,5	91,7	94,5
26	-0,39	43,1	89,6	93,1
25	-0,83	41,7	87,5	91,7
24	-0,96	40,4	85,6	90,4

1) T-шкала

;
2) Шкала Векслера

;
3) Шкала Амтхауера

[1] 6,63 - це критичне значення критерію хі-квадрат з 1 ступенем свободи і при ρ = 1%.