3. Вимірювання, метод експертної оцінки
Вимірювання - це пізнавальна процедура, пов'язана з визначенням числового значення деякої величини за допомогою одиниці вимірювання.
Вимірювання можливе за наявності таких елементів: об'єкта вимірювання, вимірювальних засобів, методу вимірювання. Об'єкти вимірювання - це все те, що підлягає вимірюванню (розміри, маса, час, швидкість, тиск, температура, успішність і т.ін.). Вимірювальний засіб - це те, за допомогою чого здійснюють вимірювання (вимірювальний інструмент, прилад або вимірювальна система). Вимірювальний засіб і прийоми його застосування у сукупності утворюють метод вимірювання.
Вимірювання як метод дослідження завдячує своїм походженням порівнянню. Водночас це більш універсальний і потужніший пізнавальний засіб. Вимірювання забезпечує високу достовірність наукових результатів і безпосередній зв'язок між експериментом і теорією.
У педагогічних дослідженнях найчастіше вимірюють рівень засвоєння навчального матеріалу, користуючись для аналізу отриманих даних коефіцієнтом засвоєння навчального матеріалу (К= Кn / К3), де Кn- кількість правильно розв'язаних завдань, К3 - загальна кількість завдань. При цьому використовують контрольні роботи (обстежуваний розв'язує запропоновані йому завдання) або тести (обстежуваний вибирає правильну відповідь із наведених до кожного завдання, попередньо його розв'язавши).
Усі вимірювання діляться на дві великі групи: первинні та вторинні.
Первинні вимірювання виходять в результаті безпосереднього вимірювання: довжина і ширина прямокутника, кількість тих, хто народився за рік тощо.
Вторинні вимірювання є результатом певних маніпуляцій з первинними вимірюваннями за допомогою логіко-математичних конструкцій, наприклад, демографічні коефіцієнти народжуваності тощо. За масштабами об’єкта виділяють мікровимірювання, які забезпечують вимірювання об’єктів мікросвіту, та макровимірювання, орієнтовані на отримання розмірів об’єктів Космосу. Між цими видами можна виділити нормальні вимірювання, тобто вимірювання звичайних об’єктів практичної діяльності людей.
Процес вимірювання здійснюється за допомогою шкал, які є формою фіксації сукупності ознак об’єкта з упорядкуванням їх у певну числову систему.
Наука про вимірювання, методи і засоби їх забезпечення називається метрологією. Вимірювання розвинулось з порівняння, але воно є більш універсальним і потужнішим пізнавальним засобом. Вимірювання забезпечує безпосередній зв'язок між експериментом і теорією, високу достовірність наукових досліджень.
Метод експертної оцінки
Термін "експертиза" походить від лат. expertus (франц. еxpertise) - досвідчений.
Експерти є фахівцями у певній сфері науки або практики. Експертиза спирається на інтуїцію експерта як на психоевристичний феномен, допомагає експерту зануритися в глибини несвідомого. Експертиза дає змогу вирішувати три групи традиційних завдань: кількісної оцінки об’єктів за певною ознакою, упорядкування об’єктів і їх класифікацію. Нетрадиційні завдання експертизи – написання сценаріїв, визначення ймовірності настання подій тощо.
Адекватна експертна оцінка заснована на вмінні розчленовувати систему на підсистеми, блоки, компоненти, ураховувати їх взаємозв'язки, а також в усвідомленні того, що цілісність системи породжує якісно нові властивості, які відсутні в їх компонентах.
Щодо класифікації експертизи, враховуючи її зв'язок із певними сторонами людської діяльності, можна стверджувати, що кількість їх типів буде відповідати кількості наукових напрямів.
1. Залежно від рівня організації: міждержавні, державні, громадські, відомчі.
2. За формою: постійні та тимчасові.
3. Залежно від об'єкта експертизи: експертиза проекту й експертиза об'єкта. Об'єктів експертизи існує безліч. Їх класифікація може йти в напрямку розвитку кваліфікації систем: природничо-господарські, технічні, інформаційні (наука, культура, юриспруденція), соціальні.
4. Залежно від світоглядних рівнів відображень існуючої реальності (рефлексії) Ю. М. Федоров пропонує такий поділ експертизи: ноологічні (трансцендентальні, містичні, астрологічні); гуманітарні (філософські, філософсько-антропологічні); соцієтальні (політичні, соціологічні, економічні, юридичні, соціально-медичні); природничо-наукові (гідрологічні, геологічні, географічні, геоекологічні, біологічні, метеорологічні, медико-біологічні, технологічні, інженерно-будівельні).
У педагогіці область застосування науково-педагогічної експертизи досить широка. Вона пов'язана насамперед із необхідністю компетентно оцінити підручники та посібники, наукові дослідження, стандарти освіти, якість освітніх послуг у ракурсі конкретного закладу. Експертна оцінка є вихідним положенням для прогнозування шляхів розвитку системи освіти, прийняття державних і регіональних програм.
Сучасна наукова педагогічна думка пропонує виділяти ще гуманітарну експертизу (С. Л. Братченко). Основне її трактування пов'язане з тим, що повноцінне вивчення освітнього середовища здійснюється за базовими, первинними – гуманітарними, загальнолюдськими критеріями, які в кожному окремому випадку повинні доповнюватися частковими, вторинними показниками: рівнем знань і вмінь, рівнем розвитку окремих психічних функцій тощо. Власне, доповнюватись, а не підмінюватись. Гуманітарна експертиза передбачає не тільки залучення компетентних та авторитетних осіб, а й використання статистичних даних і точних діагностичних методик.
При організації експертизи в першу чергу увага приділяється організації діалогу та дотримання етики. Вона не визнає абсолютної однозначності оцінок і категоричності висновків.
Експертний метод дослідження застосовується в тих випадках, коли:
на основі відомих законів неможливо передбачити поведінку системи в майбутньому;
коли неможливо провести експериментальну перевірку ходу процесу;
за наявності невизначених факторів, які не піддаються контролю;
за наявності багатоваріантних шляхів рішення проблеми;
при неповноті інформації, на основі якої приймається рішення.
Проведення експертизи проводиться у такій послідовності: підбір експертів, інструктаж, опитування експертів, аналіз його результатів.
Побудова програми експертизи передбачає вирішення питань, властивих для будь-якого дослідження: визначення мети, завдань, об’єкта, предмета, гіпотези експертизи. Після цього проводять формування групи експертів, яке передбачає визначення кількості експертів, їх складу. Експерт (від лат. expertus - досвідчений) – компетентна особа, яка запрошується у спірних питаннях. Експертна діяльність має особливості, характерні тільки для неї. Предметом мислення експерта виступають події, процеси, які можуть бути прийняті соціумом під різним кутом зору. Тобто експерт повинен мислити як прогнозист – формувати висловлення в термінах модальності.
Експерт у своїй діяльності ніколи не може бути абсолютно нейтральним до об'єкта експертизи. До експертної групи, як правило, обирають з певної множини фахівців осіб, найбільш компетентних з певного кола питань.
Критеріями такого відбору є такі:
компетентність;
креативність (здатність вирішувати творчі завдання, метод вирішення яких повністю або частково невідомий);
евристичність (здатність бачити або створювати неочевидні проблеми);
предикативність (здатність передбачати або передчувати майбутні стани об’єкта);
інтуїція (здатність робити висновки про досліджуваний об’єкт без усвідомлення шляхів руху думки до цього висновку);
незалежність (здатність протиставляти поширеним думкам власні);
всебічність (здатність бачити проблему з різних поглядів).
Експертологія як наука пропонує таку модель ідеального експерта:
відносно незалежне адміністративне становище;
досвід активної роботи в даній системі;
досвід активної наукової роботи;
здоров'я (відсутність роздратованості, песимізму, нещирості);
інтелектуальна продуктивність;
працездатність;
упевненість в судженнях;
природна допитливість;
урівноваженість реаліста;
природна щирість;
строге дотримання моралі;
почуття соціальної відповідальності.
Для незалежної експертизи дуже важлива етика поведінки експерта, насамперед його чесність, непідкупність. Найбільш простим способом оцінки компетентності експертів в області педагогіки є анкетування, розроблене в логіку "поетапного розгортання питання" (Г. Геллап):
питання-фільтр, що дозволяє виявити поінформованість опитуваного з проблеми;
питання, спрямоване на виявлення загального ставлення опитуваного до проблеми (відкрите, що не передбачає варіантів вибору відповіді);
питання для одержання відповіді з конкретного аспекту проблеми (припускає варіанти готових відповідей);
питання, що дозволяє виявити причини поглядів, мотивацію суджень (напівзакрите);
питання на виявлення стійкості поглядів опитуваного на проблему (у закритій формі).
Для підбору експертів використовуються також такі методи:
документальний (на основі об'єктивних анкетних даних);
експериментальний (на основі аналізу досвіду роботи в попередніх експертизах);
метод голосування експертами-виборцями;
метод самооцінки кандидатами в експерти (за бальною системою).
Для проведення педагогічної експертизи доцільно використовувати методики вже розроблені, апробовані, що довели свою валідність та об'єктивність: вони, як правило, є результатом психолого-педагогічних досліджень. Якщо ж таких методик немає, їх доводиться розробляти самим експертам.
Вимагає розробки і визначення критеріїв експертної оцінки.
Алгоритм розробки критеріїв оцінювання:
визначається номенклатура рівнів (високий, середній, низький чи оптимальний, припустимий, неприпустимий тощо);
відпрацьовується набір показників, що в сукупності характеризують рівень розвитку оцінюваної якості, параметра, результату;
ранжування показників;
оцінювання факторів вагомості показників;
застосування показників у протоколах експертизи.
При розробці показників виходять з того, що кожен із критеріїв оцінки, наприклад, матеріально-технічні та медико-соціальні умови перебування дітей в освітній установі, може бути представлений як сукупність підкритеріїв більш низького рівня (предметне розвиваюче середовище, безпека дитини, охорона здоров'я), а вони, у свою чергу, – у вигляді сукупності підкритеріїв ще нижчого рівня і т. д. Цей процес повторюють до тих пір, поки не з'являється можливість визначити для кожного з критеріїв і підкритеріїв один чи кілька показників оцінки (наявність устаткування, іграшок, посібників, показники захворюваності та травматизму, санітарний стан приміщень і території закладу освіти, сформованість культурно-гігієнічних навичок, рівень психофізичного здоров'я дітей тощо), значення яких визначають за допомогою вимірювальних методик експертної оцінки.
Здійснюється експертна оцінка за допомогою одного з п’яти методів отримання інформації: анкетування, інтерв’ювання, дискусії, наради і мозкового штурму. Анкетування – експерти дають відповіді на запитання у письмовій формі. Інтерв’ю – це бесіда інтерв’юера з експертом, коли відповіді дають усно на запитання, які зазвичай наперед невідомі. Дискусія охоплює відносно невелику кількість фахівців, при цьому учасники дискусії формулюють її запитання, мету, формують процедуру і виступають з її тематики. Наради застосовуються для обміну думками. Мозковий штурм спрямований на генерацію нових ідей під час розв’язання проблеми.
Експертні методи колективної оцінки можна розділити на такі групи:
Метод експертних оцінок "Дельфі" (клас методів групових експертних оцінок, які вперше застосовувались у США в 1964 р.). Суть методу полягає в послідовному анкетуванні думок експертів з різних галузей. У кожній анкеті міститься інформація, яка одержана з попередніх анкет (можливим є декілька кіл таких анкет). Мета методу – створення детально скоригованої програми послідовних індивідуальних опитувань, спрямованих на зменшення групового впливу, який виникає при взаємній роботі спеціалістів. Основні принципи полягають в анонімності опитувань. Аналітики обробляють інформацію на кожному етапі опитування експертів з метою зблизити думки, точки зору на досліджене питання. Разом з тим цей метод не передбачає досягнення повної єдності думок. Завдяки письмовій формі опитування знижується фактор навіювання чи пристосування до думок більшості.
Опитування експертів проводиться в декілька турів. Під час кожного туру експерти повинні дати оцінку якомусь певному явищу. Наприклад, треба було у дванадцятибальній системі оцінити стан превентивного виховання.
Семеро експертів поставили різні оцінки. Тоді всі оцінки необхідно поставити за порядком спадання. Потім знайти медіану. Медіаною є оцінка 5, що вважається отриманою в результаті першого туру опитування. Далі свої оцінки повинні обґрунтувати експерти, які поставили найвищий та найнижчий бали. Причому експерти не повинні знати, яку оцінку і хто поставив. З їх висновками ознайомлюють інших експертів. Далі проводиться повторне оцінювання. Подібна процедура дозволяє спеціалістам у разі необхідності змінити свою оцінку, приймаючи до уваги обставини, що виявили експерти, які поставили найвищу та найнижчу оцінки. Завдяки цьому результат другого та наступних опитувань дають менший розрив у оцінках. Після кожного туру проводиться ранжування оцінок і виявляється медіана. У кінці оцінки будуть максимально наближені. Метод Дельфі дозволяє отримати більш надійні групові оцінки, ніж у випадку знаходження середнього арифметичного оцінок або колективного обговорення. До недоліків методу відноситься те, що взаємовплив експертів абсолютно виключити неможливо.
Метод програмного прогнозування (запропонований В.М. Глушковим). Служить для визначення ймовірності настання подій та оцінки ймовірного часу їх настання.
Метод евристичного прогнозування полягає в отриманні та спеціальній обробці прогностичних оцінок об'єкта шляхом систематичного опитування експертів, висококваліфікованих у вузькій галузі науки, техніки, педагогіки чи виробництва.
Метод колективної генерації ідей (метод "мозкової атаки") – лавиноподібний процес, коли проголошена ідея породжує або творчу, або критичну позитивну реакцію (негативна реакція забороняється).
Метод кваліметрії (метод кількісного оцінювання), який має на меті формалізувати якісні характеристики відповідних явищ і процесів через їх розподіл на простіші, визначити їх нормативний чи стандартний перебіг через систему критеріїв – показників діяльності (розвитку) творчого процессу чи явища (Г. Дятлова). Цілісне явище характеризується окремими факторами або компонентами. Кожний компонент подається рядом простих властивостей – критеріїв, що виражають властивості педагогічного явища на нижчому рівні.
Використання цих методів дозволяє на науковому рівні робити досить глибокий аналіз, діагностику педагогічних процесів, які відбуваються у школі, та отримувати конкретніші результати для їх оцінки.
Інструментарій експертизи, як правило, включає опитні листи, методичні рекомендації щодо проведення експертизи та інформаційне забезпечення експертів з метою підвищення їхньої компетентності.
Отриману від експертів інформацію піддають якісному та кількісному аналізу. Підбиття підсумків – важливий етап. Результати експертизи, в основному, не складають для респондентів таємниці в силу принципової відкритості процедур експертизи та проміжного обговорення результатів аналізу та оцінки. Усі результати експертизи можна поділити на три основні групи:
Факти. Фундамент підсумків складає сукупність отриманих відомостей, матеріалів, у тому числі суб'єктивний матеріал – спостереження, враження, взаємовпливи. Під час обробки фактів важливо не загубити в загальних висновках конкретних відомостей.
Коментарі. Якщо для інших типів експертиз факти мають вирішальне значення, то для педагогічної експертизи значимими є також коментарі, думки експертів з приводу фактів, їх трактування, гіпотези.
Передбачення. На основі конкретних результатів і розуміння їх смислу експерти роблять висновки про можливості та конкретні перспективи розвитку даної школи, необхідні ресурси, можливі труднощі та умови їх подолання. Можливий обережний прогноз наслідків у разі припинення розвитку. Передбачення експертів повинні бути не керівництвом до дії, а інформацією до роздумів.
Експертний висновок – це документ, оформлений відповідно до встановлених вимог, який містить мотивовану експертну оцінку, тобто думку, судження експерта про предмет експертизи.
Індивідуальний аналіз думки експертів передбачає перевірку їх несуперечності. Найбільш суперечливі думки експертів вибраковують. Після цього виконують загальний аналіз сукупності зібраних думок: з’ясовують такіхарактеристики, як узгодженість думок експертів, узагальнена оцінка об’єктів на основі індивідуальних оцінок експертів, відносна вага об’єктів, узагальнені оцінки на основі парного порівняння об’єктів, залежність між ранжуванням, оцінюють надійність результатів, здійснюють різні класифікації об’єктів експертизи, підраховують частотні характеристики тощо. Отримані результати експертного оцінювання подають у різних формах – аналітичній, математичній, графічній.
Структурно процедуру проведення експертного оцінювання можна представити у вигляді таблиці (О. Бондар):
| Компоненти | Структура компонентів |
| Змістовий | Розробка методології, концептуалізація ідей, формування науково-методичного супроводу; методики оцінювання; норм, стандартів, мір; змісту показників, параметрів; оформлення прогностичних результатів; обумовлення прав та обов’язків експертів. |
| Структурний | Структурування експертного оцінювання; виділення його домінант та пріоритетів; вибір суб’єктів, об’єктів, предмета, характеру і підстав; обумовлення критеріїв відбору цілей, процедур, засобів, кінцевого продукту. |
| Діагностичний | Відбір експертів, підготовка та організація діагностування об’єктів; встановлення вибірки об’єктів експертного оцінювання. |
| Інструментальний | Пошук, адаптування, розробка інструментарію оцінювання; експертиза інструментарію та його апробація; застосування для експертного оцінювання. |
| Процедурний | Розроблення етапів процедур на основі вибраної моделі експертного оцінювання; планування та формування цілей кожного етапу; алгоритмізація окремих кроків; (наприклад, алгоритми оцінки базового комплексного показника, формування дерева цілей експертизи); аналіз та оцінка проведених процедур та нормо контроль. |
| Діяльнісний | Організація процесу експертного оцінювання на основі змістового, структурного, діагностичного, інструментального, процедурного компонентів моделі системи технологій експертного оцінювання. |
| Результативний | Формування експертних висновків, узгодження експертних оцінок, підготовка прогностичної моделі об’єкта експертного оцінювання та рекомендацій щодо його розвитку. |
Серед основних проблем експертного оцінювання можна виокремити такі: конформізм експертів, зловживання ними середніми оцінками, труднощі пошуку експертів. До переваг цього методу можна віднести: невисокі фінансові витрати, здатність надавати інформацію про принципово нові явища науки та суспільства.
1 2 3 4 5 6 7 8 9 10 11