1.3 Засоби контролю

В даний час створюються і розповсюджуються такі кошти, які не вимагають великих витрат часу на підготовку, проведення і опрацювання результатів. Серед них виділяють машинні і безмашинное засобу перевірки.

1.3.1 безмашинное засоби контролю

Серед безмашинних засобів перевірки найбільш поширені в практиці усне опитування учнів біля дошки, перевірка вчителем зошитів з домашнім завданням, диктант, самостійна і контрольна роботи.

1.3.1.1 Перевірка домашнього завдання

Роль домашніх завдань практично знецінюється, якщо не налагоджена їх перевірка. Викладачі практикують різні форми обліку. Це і усне опитування біля дошки або з місця по домашньому завданню, і коротка письмова робота, але, перш за все це безпосередня перевірка завдання в зошитах - фронтальна при обході класу на початку і більш грунтовна, вибіркова в позаурочний час.
Також існує самоперевірка за зразком і застосовується на першому уроці після пояснення нового матеріалу. Зразок рішення домашньої роботи записаний на дошці заздалегідь. Учні розглядають рішення зразок і усно коментують його, зошити у всіх закриті. Потім відкриваються зошити і перевіряються свої роботи за зразком, підкреслюючи помилки. Цей спосіб розвиває увагу і виявляє помилки за допомогою зразка.
Взаємоперевірка за допомогою зразка використовується на наступному уроці. У цьому випадку учні перевіряють домашню роботу свого сусіда теж за зразком. Як і в першому випадку, остаточно зошити перевіряє викладач.

1.3.1.2. Диктант

Диктант може замінити опитування за темою, заданої для повторення. Його тривалість зазвичай 10-20 хвилин. Він являє собою систему питань, пов'язаних між собою.

1.3.1.3 Організація самостійних робіт

При вивченні важливо, щоб учні не тільки знали теоретичний матеріал, але і вміли застосовувати його до рішення задач і вправ, мали б поруч навичок (обчислювальними навичками, вміннями перетворювати вирази і т.д.). Ці вміння та навички можуть бути по справжньому перевірені тільки у письмовій роботі. Зазвичай самостійні роботи проводяться після колективного рішення завдань нової теми і передують контрольної роботи з цієї теми.

1.3.1.4. Організація контрольних робіт

Контрольна робота може бути короткочасною і довготривалою.
1. Перед проведенням контрольної роботи необхідно визначити об'єкт контролю, мета майбутньої роботи та засоби контролю. Вони повинні бути повідомлені учням;
2. Залежно від виду завдань потрібно продумати, яким чином учень повинен їх оформити;
3. Вчитель повинен продумати що він віднесе до недоліків, а що до помилок, з цього буде складатися оцінка. Критерії оцінки хоча б у загальних рисах повинні бути відомі учням;
4. Контрольна робота повинна бути посильною для всіх учнів без винятку. Сильним учням потрібно дати завдання важче;
5. Кожній контрольній роботі повинна передувати самостійна робота з аналогічними вправами;
6. Аналіз контрольної роботи необхідно проводити відразу, для цього необхідно завершувати роботу за кілька хвилин до закінчення. Бажано фрагменти рішення розібрати одразу після написання роботи, бо наступного дня або пізніше учні вже втрачають інтерес до змісту роботи і багато хто цікавиться тільки оцінкою;
7. Обов'язково потрібно проводити кількісний і якісний аналіз контрольної роботи.

1.3.2 Машинні засоби перевірки

Для контролю знань учнів використовують персональний комп'ютер. Д ля контролю знань учнів зручно застосовувати типові розрахунки, які включають найбільш характерні завдання базового курсу [3].
Надалі будемо говорити про машинних засобах контролю знань, і, зокрема, про тестування із застосуванням засобів обчислювальної техніки.

1.4 Комп'ютерне тестування

Ідея комп'ютерного тестування безпосередньо виникає від ідеї програмованого контролю знань. Програмований контроль знань, у свою чергу, з'явився неминучою реакцією на деякі проблеми насамперед вищої освіти в Росії. Власне, приблизно ті ж проблеми поширюються і на шкільну освіту, але останнє, в силу традиційної відсталості, дуже слабо вразливе до нових технологій.
Основною проблемою будь-якого освіти (і не тільки російського, до речі), є відсутність чіткого контролю за якістю засвоєння матеріалу. Причому якщо в шкільній практиці вчитель ще більш-менш має можливість з певною періодичністю перевіряти рівень поточних знань учня, то у ВНЗ викладач цілий семестр видає матеріал і лише в кінці семестру переконується в рівні його засвоєння. Само собою, в системі вищої освіти мається на увазі, що студенти повинні в достатній мірі займатися і самостійним утворенням, проте, це передбачуване самостійне отримання знань залишається цілком і повністю на совісті студента, і викладач абсолютно не може знати, хто саме з студентів хоч щось робить самостійно. З отриманням великим числом учнів доступу в Internet становище погіршилося ще й тим, що тепер навіть здача рефератів не має на увазі абсолютно ніякої роботи з інформацією; частенько студенти навіть не вважають за потрібне цілком прочитати те, що роздруковують з Мережі [4].
Необхідність систематичного контролю за засвоєнням матеріалу сумнівів не викликає. Перш за все це давало б економію часу викладача, який за відсутності зворотного зв'язку змушений або повторювати положення, які студентами давно засвоєні, або викладати положення, що грунтуються на фактах, погано засвоєних студентами. У другу чергу, систематичний контроль за рівнем знань учнів стимулює підвищення якості навчання за рахунок посилення акценту на важких для засвоєння положеннях та підвищення відповідальності учнів за результати самостійної роботи (у випадку, природно, коли викладач у цьому зацікавлений).
Важливим моментом систематичного програмованого контролю знань є його об'єктивність, що обумовлено перенесенням акценту з каральної функції на інформативну. Тільки в такому разі учень не буде боятися контролю і винаходити способи одержання підвищеної оцінки, і тільки в такому випадку викладач буде отримувати реальну картину знань учня.
Технічно програмований контроль знань простий - учням видається якийсь паперовий носій (розквіт програмованого контролю викликав до життя релейно-лампових "електронних" монстрів, які до цього дня можна бачити на іспитах по здачі на права водія), на якому записані питання і варіанти відповідей, один (або декілька) з яких є правильними. Учневі залишається лише розставити хрестики проти правильних відповідей.
Подібна технологія дозволила здійснити якісний стрибок у здійсненні зворотного зв'язку між викладачем і студентом. Програмований контроль, що складається з 8-10 питань, проводиться за дуже короткий термін - від 5 до 10 хвилин, і при цьому викладач може отримати повноцінну інформацію про засвоєння пройденого матеріалу всієї навчальної групою одночасно. Крім того, технічна реалізація програмованого контролю дозволила повністю уникнути списування, даючи можливість запропонувати кожному учневі свій варіант програмованої карти.
Недоліком програмованого контролю в його до-комп'ютерному вигляді була висока трудомісткість створення програмованих карток, які (в ідеалі) були потрібні на кожне заняття, і складність їх подальшої обробки. З появою комп'ютерних технологій у викладачів з'явилася можливість різко знизити трудомісткість і підготовки контролю, і обробки результатів.
Виділяють п'ять загальних вимог до тестів:
· Валідність;
· Визначеність (общепонятном);
· Простота;
· Однозначність;
· Надійність.
Валідність тесту - це адекватність. Розрізняють змістовну і функціональну валідність: перша - це відповідність тесту змісту контрольованого навчального матеріалу, друга - відповідність тесту оцінюваному рівнем діяльності.
Виконання вимоги визначеності (загальнодоступності) тесту необхідно не тільки для розуміння кожним учнем того, що він повинен виконати, але і для виключення правильних відповідей, що відрізняються від еталону.
Вимога простоти тесту означає, що тест повинен мати одне завдання одного рівня, тобто не повинен бути комплексним і складатися з кількох завдань різного рівня. Необхідно відрізняти поняття "комплексний тест" від поняття "важкий тест". Труднощі тесту прийнято характеризувати числом операцій P, яке треба виконати в тесті: P <3 - перша група труднощі; P = 3-10 - друга група труднощі. Не слід також плутати поняття простоти-комплексності та легкості-труднощі з поняттям складності.
Однозначність визначають як однаковість оцінки якості виконання тесту різними експертами. Для виконання цієї вимоги тест повинен мати еталон. Для вимірювання ступеня правильності використовують коефіцієнт K _a = P ₁ / P _2, де P ₁ - кількість правильно виконаних суттєвих операцій в тесті або батареї тестів; P ₁ - загальна кількість суттєвих операцій в тесті або батареї тестів. Істотними вважають ті операції в тесті, які виконуються на перевіряється рівень засвоєння. Операції, що належать до більш низького рівня до числа істотних не входять. При K _a ³ 0.7 вважають, що діяльність на даному рівні засвоєна.
Поняття надійності тестування визначають як ймовірність правильного вимірювання величини K _a. Кількісний показник надійності r Î [0, 1]. Вимога надійності полягає в забезпеченні стійкості результатів багаторазового тестування одного і того ж випробуваного. Надійність тесту або батареї тестів зростає із збільшенням кількості суттєвих операцій P [5].
Отже, при реалізації систем комп'ютерного тестування необхідно, на мій погляд, дотримуватися саме цих п'яти вимог до створюваних тестів. Але проблема комп'ютерного тестування коштує набагато гостріше. Реалізація в системах тестування описаних вище п'яти вимоги до тестів не означає того, що створений комплекс буде відповідати всім вимогам викладача і учня.
Більшість програмних продуктів не дають можливості викладачеві і студенту, вчителю та учневі відійти в реальному навчальному процесі від традиційних методик: лекційного курсу, конспекту, очного контролю знань, контрольних робіт, заліків, іспитів. Недолік цей можна визначити наступним: комп'ютерний курс є авторським за визначенням, і тому забезпечує високу якість освіти тільки при відповідному супроводі автором (який, в більшості випадків, не володіє достатніми знаннями в галузі інформаційних технологій). Хоча окремі компоненти комп'ютерного навчального, контролюючого або навчально - контролюючого курсу можуть використовуватися як незалежні навчальні модулі іншими викладачами (а також і при самостійному освоєнні теми), максимальний ефект, швидше за все, може бути досягнутий тільки у взаємодії з автором-розробником курсу.
Якщо ж в освітній процес, заснований на авторському мультимедіа курсі, включається інший викладач, виникає небезпека конфлікту особистостей, так як на єдиному освітньому полі стикаються не тільки різні способи методичної організації навчального процесу, а й різні особистісні підходи.
Що стосується перевірки якості знань, неформальний характер процесу оцінювання знань вимагає застосування важко піддаються обробці викладачем комп'ютерних тестів, необхідна активна зворотній зв'язок, що допомагає оцінити правильність засвоєння матеріалу, повинна бути чітко виражена визначеність і результативність [6].
Саме неформальність знань як таких, і процесу перевірки знань зокрема, породило безліч проблем у галузі комп'ютерного тестування, таких як необ'єктивність оцінювання, труднощі розуміння учнями підготовлених питань, повільна робота комп'ютерних систем, і т.п.
На мій погляд, інженерія знань і методи теорії штучного інтелекту допоможуть створити систему контролю знань, що дозволяє будувати моделі знань викладача та тестової і об'єктивно оцінювати знання та вміння останнього.

2. Інтелектуальне тестування

У поняття «штучний інтелект» вкладається різний зміст - від визнання інтелекту в ЕОМ, вирішальних логічні або навіть будь-які обчислювальні задачі, до віднесення до інтелектуальних лише тих систем, які вирішують весь комплекс завдань, здійснюваних людиною, або ще більш широку їх сукупність. Можна виділити дві основні лінії робіт з штучного інтелекту (ШІ). Перша пов'язана з удосконаленням самих машин, з підвищенням "інтелектуальності" штучних систем. Друга пов'язана із завданням оптимізації спільної роботи "штучного інтелекту" і власне інтелектуальних можливостей людини.
Ідея створення мислячих машин "людського типу", які, здавалося б, думають, рухаються, чують, говорять, і взагалі поводяться як живі люди, йде корінням в глибоке минуле. Ще древні єгиптяни і римляни відчували побожний жах перед культовими статуями, які жестикулювали вбачали пророцтва (зрозуміло, не без допомоги жерців). У середні століття і навіть пізніше ходили чутки про те, що у когось із мудреців є гомункули (маленькі штучні чоловічки) - справжні живі, здатні відчувати істоти [2]. В даний час роботи, системи розпізнавання образів, експертні системи і т.д. викликають у необізнаної той же трепет і захоплення перед «думаючої» машиною.
Але не дарма свого часу були заморожені деякі дослідження в галузі ШІ. Спроби створити машинний розум не вдавалися, і раз за разом ентузіазм вчених згасав, так як існуючі на той момент обчислювальні засоби не дозволяли хоча б приблизно відтворити взаємодію нейронів головного мозку. Поява багатопроцесорних систем і збільшення кількості команд мікропроцесорів і його тактової частоти дозволяє зараз, на мій погляд, «вишикувати» наближене мислення людини з використанням паралельних процесів і нейронних мереж.
Звертаючись до проблеми ролі ІІ в навчанні та освіті, будемо розглядає цей процес як одну з різновидів взаємодії людини з ЕОМ, і розкривати серед перспективних можливостей ті, які спрямовані на створення так званих адаптивних навчаються систем, що імітують оперативний діалог учня та викладача-людини.

2.1 Методи і моделі

Інтелектуальне тестування передбачає наявність моделі знань, моделі самого процесу тестування та оцінювання. Так можна охарактеризувати загалом всі розробки в цій галузі. Розглянемо деякі з них більш докладно.

2.1.1 Моделі розпізнавання образу рівня знань

Традиційна Російська система оцінювання знань учнів заснована на лінгвістичних оцінках, за якими встановлюється стипендія, проводиться облік успішності, проставляються записи в залікових книжках за період навчання та ін
Разом з тим, така нова освітня процедура як освітній тестування з альтернативною ознакою передбачає оцінювання рівня знань в діапазоні від нуля до ста, що породжує проблему розпізнавання лінгвістичного образу знань за результатами такого освітнього тестування.
Під чином рівня знань розуміються ті, яких навчають, що належать до безлічі (групі), знання яких по "еталону рівня знань" віднесені до лінгвістичних оцінками незадовільно (D), задовільно (C), добре (B), відмінно (A).
Під розпізнаванням образу рівня знань розуміється процедура прийняття рішення про належність конкретного учня до одного з зазначених образів на підставі порівняння його освітніх досягнень при тестуванні з характеристиками образу.
При тестуванні з альтернативною ознакою використовується закрита форма тесту, характеристиками якої є: функція щільності розподілу неправильних відповідей f (d), прийнятний рівень неправильних відповідей q 0, неприйнятний рівень неправильних відповідей q _1, ризик заниженої оцінки знань a, ризик завищеної оцінки знань b, функція оцінювання знань f (Q), обсяг освітньої інформації N, обсяг вибірки завдань тесту n і критерій прийняття рішень у вигляді граничного числа неправильних відповідей K.
Перераховані характеристики є взаємозалежними, але не володіють достатнім властивістю чіткості. В умовах їх нечіткості для розпізнавання образу рівня знань учнів цілком припустимо для нормально реалізованої освітньої послуги прийняти модель розподілу неправильних відповідей за законом рідкісних випадкових подій Пуассона і функцію оцінювання рівня знань сформувати за цим же законом [8].
Оскільки освітня інформація в банку завдань тесту N в їх вибірці n представляється як статистична сукупність, а завдання тесту хто навчається в комп'ютерному варіанті завжди для виконання видаються послідовно, то для розпізнавання образу рівня знань можливо скористатися послідовним критерієм Вальда. При цьому приймемо додаткове принципову умову, що завдання тесту однорідні за кількістю освітньої інформації з конкретної навчальної дисципліни, оскільки аналітичних методів класифікації завдань у міру їх складності або труднощі поки не розроблено.
Будемо позначати гіпотезу про прийнятний рівень знань H 0, а гіпотезу про неприйнятний рівень знань H _1. Нехай у результаті послідовного надходження завдань тесту в обсязі n отримані неправильні відповіді d _1, d _2, d ₃ ... d _n. При відомій функції оцінювання знань за законом Пуассона послідовний критерій Вальда дозволяє за вибіркою обсягом n класифікувати учнів за рівнем знань на три подобраза за кількістю областей прийняття рішень. Для того, щоб мати чотири образу необхідно зробити для кожної з трьох областей повторне послідовне тестування [7].
У запропонованій процедурі рекомендується використовувати два способи розпізнавання образу рівня знань: стандартний і посилений. При цьому задаються тільки чотири вихідні характеристики тесту q _1, q 0, a і b.
За нормального способу по першій вибірці завдань тесту n ₁ проводиться класифікація учнів на три попередні області (рівні): низька, нормальна і висока. За другою вибірці завдань тесту n ₂ = n ₁ або n ₂ <n ₁ для рівня низький посилюються вихідні характеристики q 0 і q ₁ і навчають, атестуються за трьома образам D, C і B. Для нормального рівня посилюються характеристики a і b і навчають, атестуються за трьома образам C, B і A. Для високого рівня тестування здійснюється без зміни вихідним q 0, q _1, a і b і навчають, атестуються на два образи B і A. До достоїнств нормального способу відноситься те, що студенти по другій вибірці можуть істотно поліпшити свої освітні досягнення, що відповідає вимогам закону «Про захист прав споживачів продукції та послуг».
За посиленому способу по першій вибірці учні класифікуються тільки на два рівні: низький і високий. За другою вибірці для низького рівня посилюються характеристики q 0 і q ₁ і навчають, атестуються тільки на два образи D і C. За другою вибірці для високого рівня посилюються характеристики a і b і навчають, атестуються тільки на два образи B і A. Перевагою посиленого способу є більш впевнене розпізнавання образу рівня знань і тому його рекомендується використовувати в тих випадках, коли знижено довіру до реалізованої освітню послугу.
Істотною відмінністю запропонованих методів розпізнавання образу рівня знань при тестуванні від відомих є заздалегідь задана похибка розпізнавання, закладена в ризиках ухвалення рішень a і b, використання найбільш потужного критерію Вальда і досить прості та апробовані в статистичному приймальному контролі способи посилення планів тестування, що дозволяє використовувати для вирішення практичних задач розпізнавання образу рівня знань міжнародний стандарт ІСО 8423-91 «Статистичні методи. Послідовні плани вибіркового контролю за альтернативною ознакою ». Це сприяє підвищенню достовірності комп'ютерного тестування, що дозволяє використовувати запропоновані теоретичні розробки для обгрунтування методів оцінювання знань у пропонованому єдиному іспиті довузівської освіти, в процесі реформування Російської системи освіти [7].

2.1.2 Предметно - критеріальна методика складання тестів

У кожному курсі є ключові моменти, особливо важливі теми, без знання яких неможливо засвоєння більш складного матеріалу в процесі навчання або які будуть необхідні в роботі за спеціальністю. На усному іспиті при особистому контакті зі студентом викладач обов'язково оцінює розуміння студентом цих тем. При автоматизованому тестуванні можна врахувати важливість будь-яких розділів курсу, збільшивши частку питань за цими розділами в загальній кількості питань. Але це не завжди зручно для упорядника тесту, тому що не завжди найбільш важливі розділи містять більше всього матеріалу.
Запропонована методика передбачає врахування таких параметрів, як ступінь важливості і обсяг досліджуваного матеріалу в розділах курсу.
При складанні тесту викладач ділить курс на теми Т _1, T _2, ..., T _k і оцінює ступінь важливості S _i і обсяг досліджуваного матеріалу V _i по кожній темі T _i. Кількість питань n _i по кожній темі T _i повинно відповідати (бути пропорційно) обсягом досліджуваного матеріалу V _i.
Мінімальна кількість питань n _i по кожній темі T _i визначається відповідно до методики з урахуванням параметра V _i.
Знання по кожному розділу курсу оцінюються за п'ятибальною (а фактично за чотирибальною) системою. Оцінці «відмінно» (5) відповідає ймовірність правильної відповіді від p ₃ до 1; оцінці «добре» (4) відповідає ймовірність правильної відповіді від p ₂ до p _3; оцінці «задовільно» (3) відповідає ймовірність правильної відповіді від p ₁ до p _2; оцінці «незадовільно» (2) відповідає ймовірність правильної відповіді менш p _1. Слід зазначити, що ймовірності р _1, р ₂ і р ₃ (0 <p ₁ Ј p ₂ Ј p ₃ <1) задаються викладачем з урахуванням структури тесту і можуть бути змінені. Абсолютна кількість (або частка) правильних відповідей, достатня для отримання відповідної оцінки, визначається за спеціальною методикою.
Отже, викладач:
· Розбиває курс на теми (розділи) Т _1, Т _2, ..., Т _к;
· Визначає їх обсяги V _1, V _2, ..., V _k і ступінь важливості S _1, S _2, ..., S _k;
· Визначає структуру тесту - кількість m варіантів відповідей на кожне питання;
· Задає р _1, р _2, р ₃ - рівні знань студента (або ймовірності вибору правильної відповіді), відповідні оцінками: "2" - 0Ј p <p _1, "3" - p ₁ <pЈ p _2, "4" - p ₁ <pЈ p _3, "5" - p ₃ <pЈ1.
р ₁ повинно бути помітно більше 1 / m - ймовірності вибору правильної відповіді навмання.
Після цього обчислюється мінімальну кількість питань n, необхідне для того, щоб при заданих параметрах m, p _1, p _2, p ₃ та заданому рівні значимості e на підставі випробування статистичних гіпотез можна було поставити оцінку «5», «4», «3 »або« 2 »за певний розділ курсу.
Мінімальна кількість питань n буде містити тест по темі з мінімальним значенням V _j = min {V _1, V _2, ..., V _k}; n _j = n.
Мінімальна кількість питань за темами Т _1, Т _2, ..., Т _до визначається пропорційно їх обсягами, V _1, V _2, ..., V _k.
За відповідями студента обчислюється оцінка O _i по кожній темі T _i (1 Ј i Јk) як результат випробування статистичних гіпотез
При обчисленні підсумкової оцінки за тест (курс) O враховується ступінь важливості S _i кожного розділу T _i. Отримана підсумкова оцінка Про округлюється до цілих.
Слід зазначити, що описана вище методика дозволяє давати студентам тест поетапно, в міру вивчення та засвоєння матеріалу окремих розділів курсу, і виводити підсумкову оцінку з урахуванням результатів проміжного тестування [10].

2.1.3 Метод визначення кількості освітньої інформації

Теорія освітнього тестування повинна формуватися на приватних законах і закономірності таких наукових напрямів як інформаціологія, загальна статистика, статистичний приймальний контроль, кваліметрія, педагогіка, психологія, дослідження операцій, теорія прийняття рішень та ін Пряме застосування теоретичних розробок з вказаних наукових напрямів не дає помітних практичних результатів щодо оцінювання знань через нематеріальності знань, як об'єкта досліджень. Завдання формування теорії освітнього тестування можна сформулювати як завдання пошуку оптимальної структури специфічних законів і закономірностей тестології, що дозволяє оцінити знання із заданою похибкою.
Для вирішення задач подібного класу найбільш успішно використовуються генетичні методи, засновані на реалізації генетичних алгоритмів, що дозволяють здійснити спрямований перебір окремих законів і закономірностей за найбільш прийнятними напрямками для формування вітчизняної теорії освітнього тестування.
На відміну від традиційного випадкового пошуку прийнятних рішень, алгоритми генетичного пошуку використовують аналоги або близькість наявних рішень в багатьох галузях знань до пошуку оптимального набору специфічних законів, що забезпечують об'єктивність, достовірність і точність оцінювання рівня знань, відтворених учнями в процедурах тестування. Такий спрямований перебір приватних законів є еволюційним і має дуже багато подібностей з операторами, застосовуваними в генетичних алгоритмах та процедури, які відбуваються з живими організмами у природі.
Розглянемо застосування генетичних алгоритмів для формування специфічного закону про кількість освітньої інформації. Вихідні популяції: Державний освітній стандарт, навчальна програма, специфічна сукупність навчальної інформації, банк тестових завдань. Репродукція: освітня сукупність. Схрещування: освітня сукупність, статистична сукупність. Мутація: освітня сукупність інформації.
Наступний генетичний алгоритм спрямований на пошук одиниці навчальної інформації. Вихідні популяції: одиниця статистичної сукупності, одиниця допуску, загальну інформацію. Репродукція: одиниця освітньої сукупності. Схрещування: одиниця освітньої сукупності, одиниця допуску, загальну інформацію. Мутація: умовна одиниця освітньої інформації конкретної дисципліни.
Формування специфічного закону тестології про освітню інформації: освітня інформація є первинною, оскільки незалежно від освітньої послуги, форми тесту, процедур тестування і рівня підготовки учнів знання з конкретної дисципліни оцінюються тільки по їх відповідності до «образу знань». Вся інша інформація є вторинної та третинної і не може претендувати на таку ж роль як освітня інформація.
Будь-яка інформація, і в тому числі освітня, для її подальшого застосування в завданнях тесту повинна бути представлена ​​певною кількістю, розрахованим з використанням умовної одиниці навчальної інформації.
Наступний закон про збереження освітньої інформації визначає, що кількість освітньої інформації H _Q і кількість її ентропії I _Q величина завжди стала для всіх процедур тестування. Обчислення кількості інформації і кількості ентропії проводиться за однією і тією ж формулою. При цьому H _Q обчислюють тільки після створення тестів, а I _Q до їх створення, що дозволяє похибки тестування визначити апріорно. Такі обчислення неможливі без умовної одиниці освітньої інформації, під якою розуміється найбільш типове і що застосовується поняття в конкретної навчальної дисципліни, оскільки узагальненого поняття поки отримати не вдається. Наприклад, в матеріалознавстві це «властивість матеріалу», в технології машинобудування це «операція». У подальшому кількість освітньої інформації перераховується за аналогією.
Реалізація зазначених законів про освітню інформації дозволяє з достатньою для практичної мети точністю визначати кількість інформації в банку тестових завдань, в одному завданні тесту, у вибірці завдань тесту і у вибірці виконаних тестів і забезпечувати дотримання мінімально необхідного співвідношення між обсягом вибірки і банком тестових завдань, відповідного обраної похибки оцінювання рівня знань з освітніх тестів [11].

2.1.4 Інформаційно-генетичні алгоритми

Основні властивості освітніх тестів пропонується формувати на популяціях приватних законів таких наукових галузей як: інформаціологія; психологія, педагогіка і психодіагностика; логіка, теорія ймовірностей, теорія пошуку; теорія нечітких множин, теорія ігор, теорія статистичних рішень; приймальний вибірковий контроль.
Ці популяції дозволяють реалізувати інформаційно-генетичний алгоритм і отримати нове покоління специфічних законів теорії тестування о (об): первинності освітньої інформації; «образі знань», відтвореному по первинної інформації; «образі рівня відтворених знань»; кількості та ентропії освітньої інформації; єдності кількості освітньої інформації; мінімально допустимому співвідношенні між кількістю освітньої інформації в «образі знань» та у вибірці завдань тесту; умовної одиниці освітньої інформації; ентропії нормальної освітньої послуги, не матеріальності знань, як об'єкта досліджень; відповідність форми тесту і ознаки оцінювання; формах існування функції оцінювання знань; характеристиках довіри до результатів тестування; правах тестованих на отримання об'єктивної оцінки рівня знань; захисту прав тестованих при відтворенні ними знань з освітніх тестів; перехід кількісних результатів тестування в якість «рівня знань».
В якості прикладу розглянемо застосування інформаційно-генетичних алгоритмів на трансформацію міжнародних і вітчизняних стандартів ГОСТ Р50 779.71-99 і ГОСТ Р50 779.72-99 на статистичний приймальний контроль, стосовно задач тестування, дозволяють запропонувати способи виділення «образів рівня знань» при тестуванні по двох незалежних вибірках завдань тесту закритої форми, і застосування традиційних лінгвістичних оцінок: відмінно (I), добре (II), задовільно (III) і незадовільно (IV) [12].
Вихідні дані для реалізації «образу рівня знань»: N - обсяг банку завдань (образ знань); n - обсяг вибірки завдань; a - ризик заниження оцінки; b - ризик завищення оцінки; AQL (q0) - прийнятний відсоток неправильних відповідей; RQL ( q ₁₎ - неприйнятний відсоток неправильних відповідей; З ₁ - прийнятне число неправильних відповідей; ступінь тестування - абсолютний обсяг вибірки; рівень тестування - співвідношення між обсягом вибірки n і числом С залежно від попередніх результатів відповіді на завдання тесту; QL - граничний відсоток непідготовлених учнів, які можуть отримати завищену оцінку.
Для нормальної освітньої послуги характерний нормальний процес сприйняття і відтворення знань учнями, нормальний «білий шум». У таких умовах неправильні відповіді на завдання тесту кращого співвідношення 5-1 (п'ять відповідей, з яких одна правильна) цілком виправдано вважати як рідкісні випадкові події і функцію оцінювання знань сформувати за законом Пуассона.
Для конкретного прикладу задаємо N = 250; AQL = 10%; RQL = 20%; QL Ј10%; a <b; ступінь II за ГОСТ Р50 779.72-99. Обсяг першої вибірки n ₁ = 20 і критерії прийняття рішень C ₁ <5, C ₂ = 6. Для другої вибірки застосовуємо посилене тестування n ₁ = 20, C ₃ <3, C ₄ = _4, а для нормального тестування залишаємо вихідний план n ₂ = 20, C ₁ <5, C ₂ = 6.
За першій вибірці рівень тестування прийнятий нормальний (класифікація), а тестовані поділяються на дві групи: y - недостатня підготовка і Е - достатня підготовка. За другою вибірці (атестація) для групи y тестування проводиться за посиленим рівнем (жорсткість) і поділ проводиться на два образи IV і III.
Для групи Е рівень залишається нормальним, але час на виконання завдань скорочується. Тестовані діляться на два образи II і I. Зі схеми видно, що по другій вибірці тестовані отримують можливість на поліпшення результату, що реально захищає їх права на об'єктивність оцінювання рівня знань. Далі маємо схрещування окремих законів, які проявляються в мутації специфічного закону тестування про перехід кількості неправильних відповідей у ​​якість знань, які з лінгвістичної формі. Ризики (помилки) попадання в образи по другій вибірці α = 0,03, β = 0,16. Граничний відсоток учасників тестування з низьким рівнем знань, але отримали позитивні оцінки QL = q0 = 10%. Розроблені також методи виділення «образів рівня знань» і для кількісної ознаки, коли кожне виконане завдання має кількісне значення в діапазоні [0, 1000], однак рамки статті не дозволяють навести такі приклади.
Таким чином, використання інформаційно-генетичних алгоритмів для виділення необхідних властивостей освітніх тестів у формі законів тестування та їх реалізація для виділення «образу рівня знань» наочно показує необхідність подальших досліджень з їх використання для вирішення нових завдань з оцінки рівня знань у майбутніх єдиних іспитах з метою підвищення їх об'єктивності, достовірності, ефективності та соціальної значущості [13].

2.1.5 Модель Раша

Система тестування на основі моделі Раша володіє важливими достоїнствами, серед яких, перш за все, необхідно відзначити наступні.
Модель Раша перетворює вимірювання, зроблені в дихотомічних і порядкових шкалах в лінійні вимірювання, в результаті якісні дані аналізуються за допомогою кількісних методів. Це дозволяє використовувати широкий спектр статистичних процедур.
Оцінка труднощі тестових завдань не залежить від вибірки досліджуваних, на яких була отримана і, аналогічно, оцінка рівня знань випробовуваних не залежить від використовуваного набору тестових завдань.
Пропуск даних для деяких комбінацій (випробуваний - тестове завдання) не є критичним.
Сама система тестування досить проста, в порівнянні з іншими аналогічними системами вона характеризується найменшим числом параметрів - тільки один параметр рівня знань для кожного випробуваного і тільки один параметр труднощі для кожного завдання.
Модель Раша спирається на чіткі та конструктивні поняття "трудність завдання" та "рівень знань". Так, одне завдання вважається більш важким, ніж інше, якщо вірогідність правильної відповіді на перше завдання менше, ніж на друге, незалежно від того, хто їх виконує. Аналогічно, більш підготовлений студент має велику ймовірність правильно відповісти на всі завдання, ніж менш підготовлений.
Завдяки простій структурі моделі існують зручні обчислювальні процедури для багатоаспектної перевірки адекватності моделі: для всього набору тестових результатів, для кожного випробуваного, для кожного завдання і для кожного конкретного відповіді.
"Залишки", одержувані при апроксимації результатів тестування моделлю можна використовувати для виділення різних типів досліджуваних.
Однак, незважаючи на 40-річний досвід застосування цієї системи тестування за кордоном у багатьох областях знання, перш за все в освіті, медицині і психології, до цих пір продовжуються дискусії про істинну цінність та ефективності системи тестування на основі моделі Раша. До цих пір існують дві крайні точки зору на цю модель тестування.
Найбільш переконані прибічники моделі Раша стверджують наступне: "Чи можна зібрати або побудувати або сформулювати дані так, щоб вони відповідали визначенню вимірювання (моделі Раша)? Якщо ні, - то такі дані даремні".
Їх найбільш послідовні опоненти стверджують наступне: "Дані - це дані, а модель - це конструкція дослідника, яка схильна до помилок". Наприклад, при побудові регресії, викидаючи ті чи інші дані, можна отримати будь-яку залежність, але ми тим самим обмежуємо реальний світ даних. Таким чином, ми створюємо штучну змінну, про яку мало що знаємо.
Для практики одним з найбільш важливих критеріїв є точність оцінювання. Тому вибір теми значною мірою обумовлений суперечливою інформацією щодо точності системи тестування на основі моделі Раша. Крім того, не вдалося знайти роботи, в яких проведено всебічний аналіз точності моделі Раша. У відомих роботах лише даються ті чи інші загальні рекомендації з використання цих моделей.
Чим більше точність, тим краще працює модель. У разі відсутності помилок вимірювання будь-яка модель в сенсі точності вимірювання працює ідеально. Але на практиці помилки завжди є і тому важливо знати, наскільки точні оцінки дозволяє отримувати та чи інша модель.
На основі імітаційного моделювання досліджуються точність оцінювання рівнів знань і труднощів завдань, а також число ітерацій, необхідних для обчислення цих оцінок (методом найбільшої правдоподібності) у багатофакторної ситуації в залежності від:
· Діапазону рівнів знань досліджуваних;
· Діапазону труднощів завдань;
· Ступеня відповідності діапазонів рівнів знань піддослідних і труднощів завдань;
· Числа досліджуваних;
· Числа завдань;
· Ступеня відповідності даних моделі;
· Частки пропущених даних.
Для статистичної обробки результатів моделювання використовується багатофакторний дисперсійний аналіз [14].

2.1.6 Абсолютна часова шкала вимірювання знань

Знання є абсолютною субстанцією: вони або є, або їх немає. Принаймні, так вважається в будь-якій формі традиційного оцінювання знань - як на випускних іспитах у школах, так і на вступних іспитах до вузів. Тому цікаво проаналізувати можливості абсолютних шкал оцінки і при переході до вимірювання знань на основі тестів.
У даних дослідженнях вивчаються можливості так званої «абсолютної тимчасової шкали оцінювання знань». Формулюються її принципи. Формулюються етапи послідовного переходу від традиційної форми іспитів до тестовій формі цього підходу, на їх основі - вимоги до створення тестових матеріалів цього підходу.
Аналізується досвід використання даного підходу на вступних іспитах у Тверському державному університеті протягом 4-х років.
Вивчається діагностичний потенціал даного підходу. Формулюється принцип «трирівневого абстрагування» для діагностичних тестувань. Нижче показано «діаграма знань» з математики, отримана в результаті обробки даних тестування випускників однієї зі шкіл г.Твері (75 учнів).
Тут цифри по колу - номера тим з математики, по радіусах відкладена «успішність відповідей» учнів з тієї чи іншої теми.
Як видно, тестування з використанням абсолютної шкали оцінки має цінність діагностичну навіть більше, ніж для підсумкових іспитів.
Вивчається рівень достовірності результатів комп'ютерного тестування у цьому підході і співвідношення «випадкового» і «достовірного» у підсумковій оцінці. На малюнках наведена залежність (у даному підході) підсумкової оцінки з математики від часу тестування:
Як видно, за весь час тестування (40 хвилин) в перші 15 хвилин (перші 4 завдання з математики) оцінка змінювалася найбільш помітно. За останні ж 10 хвилин підсумкова оцінка змінювалася не більше ніж на 10 балів - частка «випадкового» у підсумковій оцінці.
Таким чином, при використанні абсолютної шкали даного підходу існує можливість відповісти на питання: 1) чи існує межа, до якої сходиться підсумкова оцінка з збільшенням часу тестування (або кількості завдань тесту), 2) яка похибка «вимірювання знань» якщо перервати тестування в деякий певний момент, наприклад через 40 хвилин.
Ще одна очевидна перевага абсолютної шкали оцінювання - підсумкова оцінка з'являється на екрані комп'ютера відразу ж після виконання тесту людям [15].

2.1.7 Методика статистичного аналізу якості навчання

Запропонована методика грунтується на тому, що навчальний процес є окремим випадком технологічного процесу і йому повинні бути властиві такі ж методи аналізу, які прийняті для виробничих процесів. Однак сліпо перенести подібні методики не можна, особливо це стосується змістовного аналізу процесу.
Для того щоб проаналізувати навчальний процес потрібно мати, по-перше, критерій якості навчання, а, по-друге, простежити його зміну в часі. Як найбільш інформативного критерію якості навчання слід використовувати ступінь навченості учнів - СОУ. Цей критерій заснований на статистиці отриманих учнями оцінок за виконання окремих завдань або контрольних робіт. Оцінки входять у СОУ з «вагою» рівним інтегралу ймовірності отримання даної оцінки для деякого «типового» розподілу оцінок.
В якості такого «типового» розподілу використовується стандартний розподіл Гаусса з параметрами: середнє значення оцінки - 4 і стандартне відхилення - 1,39 / 1 /. Такий розподіл має однією особливою властивістю: для цього розподілу значення СОУ та якісної успішності збігаються і складають 0,64. Це властивість виділяє «типове» розподіл серед інших розподілів із середньою оцінкою 4.
Розрахунки для «типового» розподілу показують, що якщо СОУ більше 0,76, то навченість «відмінна», якщо СОУ від 0,5 до 0,76, то навченість «хороша», якщо СОУ від 0,24 до 0,5, то навченість «задовільна», якщо менш 0,24, то «незадовільна».
Для оцінки зміни СОУ в часі використовується відома в математичній статистиці методика, пов'язана з критерієм «3 s». Згідно з цією методикою, якщо який або процес йде нормально, то окремі значення повинні укладатися в інтервал «3s» щодо середнього значення (s - стандартне відхилення) з певною точністю. Ті значення, які не вкладаються в заданий інтервал, є відхиленнями від стандартного розподілу. Чим менше таких відхилень, тим більше відповідність аналізованого розподілу стандартному. Що стосується застосування цієї методики для технологічних процесів, то її треба скоригувати - слід враховувати лише ті значення, які виходять за нижню межу інтервалу.
Якщо взяти відношення числа значень потрапляють в інтервал «3 s» до загальної кількості значень, то таку величину можна назвати коефіцієнтом стандартності розподілу, а в разі розгляду навчального процесу - коефіцієнтом налагодженості навчального процесу (Коуп). Розрахунки показують, що якщо значення Коуп більше 0,94, то процес можна вважати «відмінно налагодженим», якщо Коуп від 0,84 до 0,94 - «добре налагодженим», якщо Коуп від 0,69 до 0,84 - «майже налагодженим », якщо менш 0,69 -« не налагодженим ».
Для загальної оцінки навчального процесу можна перемножити середнє значення СОУ по предмету за рік на Коуп. Отриману величину можна трактувати як чинник якості навчального процесу (ФКУП). Цей фактор має більше число градацій, ніж СОУ та Коуп. «Відмінному» якості відповідає ФКУП більше 0,71, «дуже хорошому» від 0,64 до 0,71, «доброму» від 0,41 до 0,64, «задовільного» від 0,17 до 0,41 і «незадовільного »менш 0,17.
Описана методика реалізована у вигляді електронної таблиці. Для прикладу проаналізуємо навчальний процес з інформатики та інформаційних технологій у 8 класі. За програмою це перший клас, коли починається систематичне вивчення інформаційних технологій. Крім того, слід враховувати, що учні переходять від одного вчителя до іншого і рівень вимогливості до них істотно підвищується. Протягом навчального року, учні повинні виконати 9 завдань на оцінку, при чому перші 4 завдання по роботі з операційним середовищем Windows, а решта 5 по роботі з текстовим процесором Word. У таблиці представлені результати для 8 Б класу, який за рівнем навченості виявився середнім серед 3-х класів у паралелі [16].

2.1.8 Модель адаптивного тестового контролю

Процедура тестування передбачає аналіз відповідей на послідовність тестових завдань певної складності. Проведемо аналогію з поведінкою пошукового алгоритму оптимізації для деякої гіпотетичної функція Y, максимум якої необхідно знайти. У задачах оцінювання з тестування - це максимум функції рівня знань.
Реалізація пошукового алгоритму зводиться до послідовного аналізу локальної околиці функціоналу Y, оцінки градієнту і вибору чергової галузі дослідження. Якщо при оцінці градієнта мають місце перешкоди, то не можна говорити про збіжність алгоритму. У звичайному сенсі він сходиться взагалі не буде, а буде "блукати" навколо області екстремуму.
Аналогічно можна поступити у випадку тестового контролю. Якщо відповідь правильна, то передбачається, що рівень підготовки студента вище складності пред'явленої задачі і він здатний вирішувати задачі заданої складності, в іншому випадку - нездатний. Це подібно оцінці градієнта деякої гіпотетичної функції регресії, в якій градієнт сам є випадковою величиною.
Пропонується використовувати наступний підхід. Вважаємо, що якщо тестований вирішив завдання, то у нього з'являється бажання вирішити складніше завдання. Якщо ні - то їм буде зроблена ще одна спроба вирішення завдання тієї ж складності. Якщо воно також не вирішено, то пред'являється завдання зниженою складності. Якщо відразу не вирішено менш складне завдання, то до вирішення пропонується завдання меншої складності. Аналогічно відбувається процес підвищення складності завдань. У результаті, якщо виключити етап навчання при вирішенні завдань, студент обере для себе певний рівень складності, навколо якого і буде розмиватися складність завдань.
Таким чином, функція «рівня знань» є перетворенням функції «складності» завдання через «здатність рішення задач» певної «складності». У цьому висловлюванні терміни «рівень знань», «здатність рішення завдань» і «складності» носять нечіткий характер. Тому для формалізації цих понять доцільно використання апарату нечітких множин. Крім того, у зазначеній постановці помітна різниця між «складністю» і «здатністю розв'язання задач».
Поняття «складність» і «рівень знань» - це деякі нечіткі змінні (тільки змінні, хоча вони і задаються функцією), в той час як «здатність розв'язання задач» є нечітким відношенням нечітких змінних «складності» і «рівня знань». Кількість балів також є змінною, однак ця змінна може не аналізуватися, оскільки є перетворенням «рівня знань».
При моделюванні відповідей в даний час найбільш розвинений аналіз IRT теорії, яка використовує для моделювання ймовірностей правильних відповідей логістичну криву. Проведено порівняльний аналіз логістичного та нормального розподілів. Показано, що розглядаючи логістичне розподіл дуже добре апроксимується нормальним. У свою чергу нормальний закон є граничним випадком біноміального розподілу. Цей факт можна формально інтерпретувати так, що «рівень знань» є часткою вирішених завдань, так як число вирішених із загального числа завдань при заданій імовірності рішення підпорядковане біноміальним розподілу.
Далі передбачається, що складність завдання задана деяким числовим значенням, і в результаті виконана формалізація процесу тестування у вигляді марковської ланцюга, в якій ймовірності переходів по складнощів визначаються на підставі логістичної кривої. Передбачається, що відповіді на завдання - незалежні величини. Тому використовується однорідна марковська ланцюг, де станами ланцюга є міри складності завдань. Показано, що для побудованої ланцюга існує єдине, не залежне від початкового стану, стаціонарний розподіл. Знайдено аналітичний розв'язок стаціонарних ймовірностей.
Збільшуючи дискретизацію складності, тобто збільшуючи кількість станів марківського ланцюга показана збіжність до безперервного розподілу. Знайдено граничне розподіл, яке використовується для візуалізації перетворень «складності» в «знання». На практиці найбільш природні випадки, коли оцінки мають постійну дисперсію або постійний коефіцієнт варіації. Постійний коефіцієнт варіації пояснюється збільшенням невизначеності при зростанні «рівня знань». Постійна дисперсія може використовуватися, коли зміна рівня знань невелика. Для постійної дисперсії показано, що перетворення носить експонентний характер. Експоненціальна функція монотонна і великим значенням функції «рівень знань» відповідають великі значення щільності розподілу «складності» розв'язуваної задачі. Відповідно максимум щільності припадає на максимум цільової функції. Для постійного коефіцієнта варіації (g) показано, що перетворення описується степеневою функцією, а при g = 1 функція щільності імовірності з точністю до постійного множника на всій області визначення збігається з середнім значенням функціоналу. Таким чином, якщо є міра «складності» завдання, то визначена і міра «рівня знань» і вона збігається з щільністю розподілу адаптивного алгоритму тестування.
Якщо припустити існування функціоналу «знань» Y, то стаціонарні ймовірності марковської ланцюга є монотонним перетворенням Y. Однак Y невідомий і цей функціонал можна підмінити стаціонарними ймовірностями. Така заміна грунтується на тому, що в пошуковому алгоритмі при оцінки градієнта за оцінкою значень функціоналу, стаціонарні ймовірності повністю повторюють функціонал [17].

2.1.9 Концептуальна модель адаптивного тестового контролю знань

Була запропонована концептуальна модель, яка складається з таких блоків.

2.1.9.1 Блок цілей навчання

Цілі навчання визначають успішність процесу навчання. Тому їх зміст, конкретна формулювання є найважливішим кроком у технологічному конструюванні навчального процесу. Цілі освітньої системи в цілому визначаються законом про освіту. Цілі даного навчального закладу визначаються Статутом цієї установи. При формуванні цілей навчання в рамках навчального предмета основне завдання вчителя полягає в наступному: по кожному розділу і темі навчальної програми він повинен визначити ступінь успішності освоєння учнем необхідних знань, умінь, та навичок, врахувати проявляемое ставлення до предмета і на підставі цього визначити комплекс навчальних цілей .

2.1.9.2 Блок змісту

Відповідно до концепції адаптивного тестового контролю було розглянуто зміст безперервного курсу інформатики з 1 по 11 кл. і структуровано на модулі. Навчальний цикл повинен забезпечувати послідовну орієнтацію навчання на намічені цілі. Завдяки такій будові навчальний процес набуває "модульний" характер. У гуманітарно-природничому ліцеї N41 м. Іжевська розроблена навчальна програма з предмету "Основи інформатики та обчислювальної техніки" (ОІВТ), побудована на модульному принципі, який дозволяє в максимальному ступені врахувати швидко змінюється зміст, диференціацію навчальних класів та учнів.
Створена модель змісту курсу інформатики і представлена ​​у вигляді освітніх модулів дозволяє розробити план тіста і його специфікацію з кожного модуля курсу з урахуванням вимог освітнього стандарту по шкільному курсу інформатики. Для оцінки досліджуваного обсягу знань пропонується скласти тезаурус-тлумачний тематичний словник понять.
Для контролю знань учнів методистами ИУУ і вчителями інформатики в ролі експертів проводився аналіз та експертиза якості створених в ліцеї педагогічних тестів з анкетної формою згідно розробленої інструкції.
Були визначені основні проблеми при конструюванні та застосуванні адаптованих тестових вимірників: модульний принцип структурування змісту курсу інформатики, створення плану і специфікації тестів з виділенням структурних одиниць у вигляді "навчальних одиниць", підвищення змістовної валідності тестових завдань, надійності результатів тестування учнів, попередня діагностична оцінка рівня навченості і тестування із застосуванням адаптивних тестів для індивідуального точного визначення рівня навченості.

2.1.9.3 Блок вимірювання

1) Таксономічна модель адаптивного контролю знань визначає таксономію навчальних цілей у когнітивній області. Один з підходів до опису цілей навчання полягає у вказівці рівнів, ступенів, яких досягає учень під час оволодіння знаннями. Виділяються шість ієрархічних щаблів за BSBloom: впізнавання, розуміння, застосування, аналіз, синтез, оцінка. Формулювання цілей навчання можна проводити за допомогою системи вимог до якості знань. До двох найбільш відомим у світовій літературі класифікаціям знань і здібностей BSBloom і RMGagne. BCАванесов додає свій перелік видів знань, які сформульовані виключно для вирішення завдань педагогічного вимірювання. Об'єктивні та адекватні вимірювача успішності навчання - тести, завдання, вправи, контрольні завдання, контрольні роботи, комп'ютерне моделювання - можуть бути використані на всіх рівнях ієрархії навчальних цілей.
Найпоширеніший спосіб опису цілей навчання полягає у вказівці якостей знань, якими повинні володіти учні в результаті навчання. Такий підхід обгрунтований у працях відомих радянських дидактів: М. І. Зарецького, І. Я. Лерненра, І. Т. Огороднікова, Є. І. Перовського, М. М. Скаткін. Керівництвом до вибору цілей навчання є розкриття змісту якостей знання. Повнота знань визначається кількістю знань про досліджуваному об'єкті, що входять в шкільну програму, глибина - сукупністю усвідомлених знань про об'єкт. Повнота і глибина знань - пов'язані, але не тотожні якості. Повнота допускає ізольованість знань один від одного, глибина ж, навпаки, передбачає наявність усвідомлених істотних зв'язків, у різному ступені опосередкованих.
2) Математична модель адаптивного контролю знань визначає рівень навченості учнів залежно від труднощі завдань. Теоретичною основою адаптивного контролю є теорія IRT в поєднанні з дидактичним принципом індивідуалізації навчання. Цілям диференціації учнів служить побудова індивідуальних кривих піддослідних за двопараметричної моделі A. Bimbaum.
У рамках класичної теорії тестів рівень знань піддослідних оцінюється за допомогою їх індивідуальних балів, перетворених в ті чи інші похідні показники. Це дозволяє визначити відносне положення кожного випробуваного в нормативній вибірці.
Інший підхід до створення педагогічних тестів і до інтерпретації результатів їх виконання представлений у так званої сучасної теорії педагогічних вимірів Item Response Theory (IRT), що одержала широкий розвиток в 60-ті - 80-і роки в ряді західних країн. До досліджень останніх років у цьому напрямку належать праці BCАванесова, В. П. Беспалько, Л. В. Макарової, В. І. Міхєєва, Б. У. Родіонова, А. О. Татура, В. С. Черепанова, Д.В . Люсина, М. Б. Челишковой, Т. М. Родигіна. Є. Н. Лебедєвої та ін
До найбільш значимих переваг IRT відносять вимірювання значень параметрів досліджуваних та завдань тесту в одній і тій же шкалі, що дозволяє співвіднести рівень знань будь-якого випробуваного з мірою труднощі кожного завдання тесту. Саме на цій властивості оцінок параметрів досліджуваних та завдань заснована організація сучасного адаптивного контролю знань. Критики тестів інтуїтивно усвідомлювали неможливість точного вимірювання знань піддослідних різного рівня підготовки за допомогою одного і того ж тесту. Це одна з причин того. що в практиці прагнули зазвичай створювати тести, розраховані на вимір знань піддослідних найчисленнішого, середнього рівня підготовленості. Природно, що при такій орієнтації тесту знання у сильних і слабких піддослідних вимірювалися з меншою точністю.
3) Автоматизований контроль знань з застосуванням комп'ютера та обробка результатів тестування на ЕОМ для визначення параметрів якості тестування.

2.1.9.4 Блок адаптивного навчання

1) Моделі навчання.
Інформаційні технології мають вирішальний вплив на всі етапи процесу навчання: від надання учням знань, умінь і навичок до контролю їх засвоєння, при цьому забезпечуються такі найважливіші характеристики навчання, як якість, вибірковість матеріалу, облік індивідуальності, постійний контроль і самоконтроль засвоюваності матеріалу, високий ефект використання ресурсів вчителів. Конгрес Юнеско підтвердив це положення і запропонував розглянути різні моделі використання інформаційних технологій у комп'ютерних програмах і способи організації роботи учнів такі, як класно-урочна модель, проектна і індивідуальна.
2) Педагогічні технології.
Технологічний підхід до навчального процесу гарантує досягнення поставлених цілей навчання. Оперативний зворотний зв'язок яка пронизує весь навчальний процес, є основою послідовної орієнтації навчання на цілі. Таким чином, відмітними особливостями технологічного конструювання навчального процесу є:
• конкретизація цілей навчання в когнітивної області, розробка навчальних одиниць як еталонів засвоєння навчального матеріалу всіма учнями в класі;
• створення системи перевірочних робіт (діагностичних тестів, адаптивних тестів);
• вибір швидких способів перевірки тестів (комп'ютерні програми);
• підготовка спеціальних методів корегуючої методики (короткі конкретні тексти, які містять необхідні теоретичні відомості, тренажери);
• додаткові завдання, повторні тести.
Весь навчальний процес пронизаний можливостями адаптації до індивідуальних особливостей учнів в умовах колективного навчання. Перехід до розвиваючого навчання без адаптації до індивідуальних особливостей учнів практично неможливий. Саме під час індивідуального контакту вчителя з учнем важливо мати інструмент для контрольного тестування рівнів навченості. Контроль проводиться вчителем і не впливає на оцінку, він дозволяє побачити стан навченості кожного і внести відповідні корекції в навчальний процес.
Важливо знати завчив, засвоїв учень базовий мінімум. Решта матеріал опрацьовується з орієнтацією на мимовільне запам'ятовування, що розширює можливості кожного учня, зайнятого активною творчою діяльністю [2].
Вихідний тест за запропонованим модулю, оцінений експертами, призначений для попереднього тестування груп учнів з метою наближеного визначення рівня навченості групи з відповідного модуля курсу. Обробка результатів тестування була проведена за IRT, визначалася групова адаптивність, на відповідність середнього догіта труднощі завдань тесту ВСР. та середнього логіт навченості випробуваних Qcp. за виразом:
Агр = 1 - [Qcp. - Вер.]
Групова адаптивність АГР .= 1 при ідеальному відповідно Вер. і Qcp. Результати попереднього тестування групи учнів мають значення АГР. далеко не рівними одиниці, тому наступним кроком є ​​зміна значення групової адаптивності шляхом виключення з тіста "непрацюючих" завдань у цій групі тестованих з Bj "0 і визначення рівня обученноеті кожного досліджуваного, а також отримання в цьому разі індивідуальних характеристичних кривих піддослідних. Надалі визначається істинний бал як сума всіх ймовірностей відповідей кожного випробуваного на кожне завдання тесту і оцінюється рівень знань.
Таким чином, з'являється можливість для цього випробуваного вибирати відповідний його рівню набір тестових завдань і випробувані можуть бути протестовані тестами складеними індивідуально для них. Для групи тестованих створюються адаптивні тести, що мають різну довжину та час виконання для сильних, слабких і середніх учнів даної групи. Такий процес вимагає комп'ютерної технології створення, зберігання тестів, проведення тестування і обробки результатів тестування. Для обробки результатів тестування вихідного і адаптивного тестів створена програма, що дозволяє визначити такі параметри як: надійність, похибка вимірювання,, кореляція, визначення значень інформаційної функції і ін
По суті, ця технологія дає початок нової організації як тестового контролю знань, так і навчального процесу в цілому, на більш високому науковому рівні. У класно-урочної форми навчання цей принцип не міг бути реалізований в яких-небудь помітних масштабах через відсутність необхідних для цього програмно - педагогічних та програмно - інструментальних засобів. В умовах масової освіти адаптивне навчання дає можливість ефективної практичної реалізації принципу індивідуалізації навчання.
В якості доказів цінності отриманих результатів дослідження, що підтверджують висунуту гіпотезу, яка полягає в тому, що застосування адаптованих тестових вимірників дозволить підвищити об'єктивність в оцінці індивідуального рівня навченості учнів за рахунок зниження похибки вимірювання у вибірці учнів, адаптивної пропонованим труднощів тестових завдань; можна навести такі факти:
1) розроблений комплект тестових завдань і рекомендований кафедрою природничо-наукових дисциплін ИУУ УР для оцінки засвоєння знань учнів загальноосвітньої школи з предмету "інформатика", застосовувався для поточного та підсумкового контролю знань учнів загальноосвітніх закладів;
2) застосування адаптивних тестів для контролю знань учнів призводить до більш точної оцінки рівня знань піддослідних з використанням меншої кількості тестових завдань в порівнянні із звичайним тестуванням за рахунок зниження похибки вимірювання у вибірці учнів, адаптивної пропонованим труднощів тестових завдань;
3) ефективні тестові вимірювачі дозволяють визначити рівень навченості кожного випробуваного після вивчення модуля курсу та визначити індивідуальну динаміку розвитку учня по закінченню вивчення всього курсу;
4) у ліцеї, де з 1996 р. застосовується адаптивне навчання, а пізніше з 1998р. впроваджується адаптивний тестовий контроль знань учнів, отримані результати навченості учнів характеризуються такими рівнями в когнітивної області як аналіз, синтез, що забезпечує прекрасний потенціал для їх подальшого успішного розвитку в творчій евристичної оціночної діяльності (участь в олімпіадах, турнірах, науково-дослідних конференціях тощо ).

2.1.9.5 Блок системи моніторингу.

Під моніторингом у системі "вчитель-учень" ми розуміємо сукупність контролюючих та диагностирующих заходів, обумовлених цілепокладанням процесу навчання і передбачають в динаміці рівні засвоєння учнями матеріалу та його коригування. Інакше кажучи, моніторинг - це безперервні контролюючі дії в системі "вчитель-учень", що дозволяють спостерігати (і коригувати в міру необхідності) просування учня від незнання до знання. Моніторинг - це регулярне відстеження якості засвоєння знань і умінь у навчальному процесі.
Моніторинг відрізняється від звичайної оцінки знань тим, що забезпечує вчителя оперативного зворотного зв'язком про рівень засвоєння учнями обов'язкового навчального матеріалу. Система моніторингу включає в себе створення безпосередньо інструментів контролю знань і умінь і коригувальну методику, орієнтовану безпосередньо на особистість школяра з урахуванням його індивідуальних досягнень в навчальному процесі [18].

2.1.10 Технологія рейтингових досліджень якості освіти з застосуванням нейронних мереж

Основними компонентами процесу оцінки якості освіти є [збір вихідних даних і отримання результуючої інформації про стан системи освіти. Щорічний аналітичну доповідь «Якість освіти в виявимо навчальному закладі» передбачає отримання даних по більш ніж десяти напрямках. Для виконання аналітичних звітів і заходів щодо підвищення якості освіти необхідно проведення результуючих «інтелектуальних» обробок вихідних даних Задача визначення якісного рівня вузу (його рейтингу) є одним з основних напрямків таких обробок.
В інформаційній системі моніторингу якості освіти (Ісмоїла), що створюється в Брянськом державному технічному університеті, розробляється інформаційна технологія рейтингових досліджень якості освіти на основі застосування нейронних мереж. Програмний комплекс нейрокомпьютерной обробки застосовується в якості одного з модулів фінішної обробки інформації. Вихідна інформація робота! такого модуля - обчислені «рейтинги якості» для кожного ВНЗ.
Дослідження проводяться за такими основними напрямками:
класифікація - визначення належності кожного вузу до конкретної групи якості.
На першому етапі виявляються основні тенденції в освіті, такі, як рівень розриву в якості освіти, щільність розподілу об'єктів моніторингу за групами якості. При цьому можливі наступні варіанти реалізації першого етапу:
· Глобальна кластеризація - припускає наявність у вихідній вибірці даних по вітчизняним і зарубіжним вузам;
· Федеральна кластеризація - наявність у вибірці даних по вузах з підпорядкування Міністерства освіти Російської Федерації;
· Галузева кластеризація - вибірка складається з даних по однотипним вузам (технічним, педагогічним, медичним, і т. д.);
· Регіональна кластеризація - вибірка по вузах певного регіону.
Для адекватності кластерних досліджень періодичність їх проведення повинна бути досить великою.
На етапі класифікації вихідні дані але кожному вузу подаються на входи навченої нейронної мережі, після чого визначається «рейтинг якості» даного вузу. Багато параметрів, за якими відбувається опенька якості освіти, схильні до динамічних змін. Тому визначення рейтингу якості освіти в інформаційній системі буде виконуватися щоквартально.
Ряд послідовних операцій на кожному етапі визначає образ відповідної інформаційної технології. Інформаційна технологія етапу кластерних досліджень визначається наступними операціями: