Доцент кафедри управління інформаційною та кібербезпекою (УІКБ) к.держ.упр. Мужанова Т.М. взяла участь у тренінгу «Технологія створення валідного тесту навчальних досягнень здобувачів освіти на засадах компетентнісного підходу», який відбувся 16 березня 2021 року в рамках Школи педагогічної майстерності в Національній академії державного управління при Президентові України.

Тренінг провела головний науковий співробітник відділу моніторингу та оцінювання якості загальної середньої освіти Інституту педагогіки Національної академії педагогічних наук України д.держ.упр., проф. Лукіна Т.О.

Як наголосила доповідачка, тестування є одним із багатьох методів вимірювання навчальних досягнень студентів на рівні з перевіркою в усній і письмовій формі, співбесіди та інших. І за умови дотримання вимог до розробки тестів і проведення перевірки знань та навичок здобувачів освіти тестування має досить високий коефіцієнт надійності – 0,7-0,9 (для прикладу, усне опитування має коефіцієнт надійності 0,3-0,4 з огляду на високий рівень суб’єктивності оцінювання). Тобто використання засобів тестування у навчальному процесі сприятиме об’єктивності оцінювання навчальних досягнень студентів і дозволить неупереджено виміряти рівень знань і навичок, а також ранжувати студентів на їх основі.

Тести класифікують за різними критеріями: рівнем уніфікації, рівнем впровадження, видом контролю, формою подання знань, видом тестових завдань, використанням комп’ютера тощо. Сьогодні педагоги найчастіше використовують авторські нестандартизовані тести як на комп’ютері, так і в паперовій формі.

ВИДИ ТЕСТІВ

Тести для перевірки навчальних досягнень студентів можуть бути різних форм і форматів. Найбільш поширеними формами тестових завдань (ТЗ) є:

• вибір однієї або кількох правильних відповідей;
• встановлення відповідності;
• встановлення правильної послідовності;
• надання відкритої або вільної відповіді.

Останній варіант передбачає встановлення чітких критеріїв оцінювання відповіді, щоб зменшити рівень суб’єктивності оцінки.

Форматами ТЗ з високим ступенем диференціації є формати А (ТЗ з однією найкращою відповіддю); Х (ТЗ множинного вибору «правильно-неправильно»); N (ТЗ з декількома найкращими відповідями); R (ТЗ розширеного вибору) і т. зв. ситуаційний кластер (ТЗ, яке містить опис ситуації з наступними завданнями, що безпосередньо з нею пов’язані).

Вимірювання рівня навчальних досягнень осіб, які пройшли тестування, може бути нормо-орієнтованим та критеріально-орієнтованим. Нормо-орієнтоване вимірювання передбачає інтерпретацію начальних досягнень кожного студента в залежності від досягнень групи, зокрема найкращих студентів, і має на меті диференціювати студентів між собою за рівнем досягнень. Критеріально-орієнтоване вимірювання має на меті діагностувати розвиток певних якостей, умінь та навичок студентів відповідно до встановленого критерію, стандарту і встановити, чи студент досяг запланованого рівня, чи ні. Перший вид вимірювання забезпечує справедливе оцінювання навчальних досягнень у межах групи, другий – підтвердження факту досягнення студентами певного рівня знань і може охоплювати студентів різних груп.

Лукіна Т.О. відзначила, що тести мають бути різноплановими і забезпечувати перевірку не тільки знань і навичок відтворення інформації, але й вищих рівнів інтелектуальної діяльності, наприклад здатності студентів пояснити теоретичні положення, застосувати їх для вирішення практичних завдань, проаналізувати, узагальнити, дати оцінку.

Щоб установити частку завдань тесту для оцінювання навичок з кожного виду інтелектуальної діяльності, треба визначити, скільки часу під час вивчення дисципліни використано на їх формування.  Відповідно, такою ж у відсотковому вираженні буде кількість ТЗ, відведених на їх перевірку. 

Присутнім науково-педагогічним працівникам було рекомендовано обов’язково дотримуватися алгоритму розробки тесту навчальних досягнень, який включає:

1. Визначення мети оцінювання.
2. Опис домену компетентності (сукупності очікуваних від студентів компетентностей).
3. Вибір виду тестування, що забезпечить валідність (якість) тесту.
4. Побудова матриці змісту тесту.
5. Вибір форматів тестових завдань.
6. Створення ТЗ, формування банку й пілотування ТЗ.
7. Формування тесту і його апробація.
8. Визначення логістики тестування.
9. Вибір аргументованого прохідного балу.
10. Проведення тестування.
11. Обробка й аналіз результатів.
12. Встановлення валідності методу оцінювання.

Наголошено, що якісний тест має відповідати ряду вимог і бути:

• об’єктивним, тобто отримані результати мають відповідати дійсності;
• валідним – відповідати меті й вимогам оцінювання;
• надійним – таким, що забезпечує точність вимірювань, а також стабільність та стійкість їхніх результатів по відношенню до впливу зовнішніх чинників;
• точним, тобто мати мінімальну або систематичну похибку. Тест є більш точним, коли складається з більшої кількості ТЗ. У середньому для досягнення точних результатів тест має містити приблизно 100 ТЗ.

Також на тренінгу було обговорено проблеми оцінювання ТЗ із множинним вибором. Відзначено, що в завданнях, де треба обрати кілька правильних відповідей (наприклад 3), студент отримує 3 бали – за вибір трьох правильних відповідей, а у решті випадків (вибір однієї, двох або жодної правильної відповіді) – особа отримує 0 балів.

Викладач може самостійно оцінити якість тесту, визначивши

• індекс складності, який встановлює, наскільки конкретне ТЗ є складним для екзаменованих і дорівнює % учасників, які правильно відповіли на ТЗ. Змінюється від 0 до 1.
• індекс дискримінації, який вказує, наскільки добре дане ТЗ розрізняє екзаменованих з високим і низьким рівнем знань. Може змінюватися від -1 до 1.

На завершення учасники тренінгу обговорили типові помилки при складанні ТЗ на конкретних прикладах і виділили основні вимоги до створення якісних тестів.

• Тест має поєднувати різні форми і формати ТЗ, у тому числі завдання, які мають на меті перевірку різних рівнів інтелектуальної діяльності студента.
• Доцільно дотримуватися алгоритму розробки тесту навчальних досягнень, який крім етапів планування та проведення тестування має передбачати встановлення його валідності.
• ТЗ мають відповідати цілям тестування, їх кількість має бути достатньою, щоб охопити зміст усієї дисципліни чи теми.
• Завдання тесту мають містити конкретні вказівки щодо того, що потрібно зробити: «вказати», «обрати», «класифікувати», «порівняти», «проаналізувати» «розрахувати», «довести», «оцінити», «прийняти рішення» тощо. 
• ТЗ мають бути чітко формульованими – лаконічно, без повторень слів і речень, подвійних заперечень, протиріч і спірних фактів, не містити ключів до відповідей.
• Завдання не повинні містити формулювання типу «нічого з переліченого», «усі із зазначених», оціночних суджень або вказівок висловити власну думку.
• Завдання тесту бажано розміщувати відповідно до рівня складності (як правило, у зростаючому порядку), форми тощо.
• ТЗ не повинні залежати одне від одного, тобто містити відповіді на інші завдання або заважати відповіді на наступні питання.  
• Варіанти відповідей: правильні і неправильні, мають бути однорідними за структурою і формою.
• Неправильні відповіді (дистрактори) мають бути вірогідними і виглядати однаково прийнятними для особи, яка не володіє матеріалом. Небажано утворювати хибні відповіді шляхом відсікання частин від правильної відповіді, вони мають конструюватися на основі типових помилок.
• Оптимальна кількість дистракторів – від 3-х до 4-х. Менше число підвищує вірогідність угадування, більше – робить завдання важким для сприйняття. Для зменшення кількості варіантів відповідей доцільно їх групувати.
• Важливо правильно визначити час на проходження тесту. Загалом час на проходження тестування визначають експериментальним шляхом, однак, у середньому на виконання одного ТЗ виділяють не більше хвилини.
• Обов’язковим є дотримання процедур проведення тестування, забезпечення належних умов контролю, зокрема для запобігання списуванню.
• Необхідно забезпечити об’єктивність оцінювання (найчастіше, завдяки автоматизованому опрацюванню результатів), уникати помилок при обчисленні балів, зокрема в завданнях з множинним вибором.

Детальніше про технології створення валідних тестів для оцінювання навчальних досягнень можна прочитати в Навчальному посібнику для викладачів, учителів і методистів «СТВОРЮЄМО ЯКІСНИЙ ТЕСТ» вітчизняних авторів Булах І. Є. і Мруги М. Р.

Науково-педагогічні працівники кафедри УІКБ ознайомилися з навчально-методичними матеріалами тренінгу для підвищення своєї професійної майстерності, подальшого використання науково обґрунтованих технологій оцінювання навчальних досягнень студентів під час викладання дисциплін кафедри та виконання вимог інноваційної освітньої моделі, яка впроваджена в університеті.

*****