Використання системи оцінки автоматизованого перекладу для оцінювання перекладу студента в процесі викладання

Використання усного та письмового перекладу в процесі вивчення англійської мови вважається загально-прийнятою практикою. Такі вправи служать досягненню  не тільки педагогічних цілей, але й виконують функції оцінювання. Попередній досвід застосування вправ письмового та усного перекладу в значній мірі обумовлюється їхнім потенціалом покращити ефективність засвоєння навчального матеріалу. Останнім часом спостерігається тенденція недооцінки усного та письмового перекладу як критично-важливого вміння для міжкультурного спілкування  майбутніх користувачів мови.

Незважаючи на ріст популярності та доцільності усного та письмового перекладів, процес  оцінювання  забирає багато часу, затрат та є складним для викладачів мови перш за все тому, що процес оцінки перекладу охоплює  детальний аналіз інформаційної еквівалентності між повідомленням з мови-джерела на цільову мову. Одним з можливих рішень може стати автоматизована система оцінки перекладу, яка спочатку розроблялася для аналізу результатів машинного перекладу. Деякі дослідження вивчають доцільність використання автоматизованих  систем оцінювання таких як BLEU, NIST та METEOR  для оцінки усного перекладу користувачів. Як правило, дослідники порівнювали  показники  автоматизованої системи  з результатами оцінок викладачів, застосовуючи різні сценарії оцінювання з метою визначення ступені кореляції показників. 

В підсумку, результати дослідження показали переконливу кореляцію між результатами автоматизованої системи та людської оцінки для систем BLEU (r = 0.670), NIST (r = 0.673) і METEOR (r = 0.882), зокрема коли комп’ютерні виміри проводилися на рівні речення, а не на рівні тексту. Отримані результати досліджень розглядаються в контексті доцільності та  можливості застосування показників оцінювання автоматизованими системами усного та письмового перекладу, виконаного  студентами під час навчального процесу. 

Література

1. Accuracy of peer ratings on the quality of spoken-language interpreting Chao Han & Xiao Zhao. Assessment & Evaluation in Higher Education. Published Online: 22 Dec 2020
2. an automated machine translation evaluation metrics be used to assess students’ interpretation in the language learning classroom?  Chao Han & Xiaolei Lu. Computer Assisted Language Learning. Published Online: 28 Aug 2021
3. Digital simulation games in CALL: a research review. Mark Peterson. Published online: 27 Jul 2021.

Науково-методичне повідомлення підготував
ст. викладач кафедри англійської мови Полонський М.Д.