Использование системы автоматизированной оценки Criterion в обучении студентов языковых специальностей написанию эссе на иностранном языке: результаты экспериментальной проверки

Актуальность. Современные инструменты искусственного интеллекта (ИИ) способны взять на себя некоторые функции преподавателя иностранного языка, тем самым оптимизировать процесс обучения. Одной из таких является функция преподавателя по проверке и оценке письменных работ (эссе) студентов. В научной литературе имеются работы, описывающие поэтапные методики обучения студентов написанию эссе на иностранном языке, включающие индивидуальную внеаудиторную практику обучающихся с инструментом ИИ в ходе доработки черновой версии эссе. На основе получения от инструмента ИИ оценочной обратной связи студенты могут доработать свои эссе в языковом, структурном и содержательном аспектах. Система автоматизированной оценки письменных работ Criterion является одним из современных инструментов ИИ, который можно использовать в обучении. Однако проверка эффективности данной системы не выступала предметом отдельного исследования. Цель исследования – уточнить этапы обучения студентов языковых специальностей написанию эссе на иностранном языке с использованием оценочной обратной связи от системы автоматизированной оценки Criterion и проверить эффективность данной методики в ходе экспериментального обучения.

Материалы и методы. Участниками исследования выступили студенты 2 курса специальности 45.05.01 «Перевод и переводоведение» ФГБОУ ВО «Липецкий государственный технический университет» (КГ = 25 и ЭГ = 25). Студенты КГ обучались по традиционной методики обучения эссе, исключающей использование инструментов ИИ, а участники ЭК – по инновационной методике, включающей индивидуальную внеаудиторную практику студентов с системой Criterion с целью получения оценочной обратной связи для доработки эссе. В качестве аспектов контроля выступали: а) лексическая сторона письменной речи; б) грамматическая сторона письменной речи; в) организационная структура работы; г) содержание работы.

Результаты исследования. Доказано, что инновационная методика обучения студентов написанию эссе, основанная на интеграции системы автоматизированной оценки эссе Criterion в процесс обучения, является более эффективной по сравнению с традиционной методикой в овладении студентами а) организационной структурой эссе (t = 2,82 при p = = 0,004) и б) содержательной стороной творческой работы (t = 3,05 при p = 0,002). Однако статистический анализ результатов не подтвердил преимущество инновационной методики в формировании лексических (t = 1,44 при p = 0,08) и грамматических (t = 1,36 при p = 0,09)
навыков речи студентов языкового вуза.

Выводы. Новизна исследования состоит в разработке этапов обучения студентов написанию эссе на основе практики с системой автоматизированного контроля Criterion с целью получения оценочной обратной связи для доработки эссе. Полученные результаты могут использоваться в методике обучения учащихся средних школ и студентов вузов в обучении письменной речи.

1. Сысоев П.В. Искусственный интеллект в образовании: осведомленность, готовность и практика применения преподавателями высшей школы технологий искусственного интеллекта в профессиональной деятельности // Высшее образование в России. 2023. Т. 32. № 10. С. 9-33. https://doi.org/10.31992/0869-3617-2023-32-10-9-33, https://elibrary.ru/tzytkm

2. Сысоев П.В. Технологии искусственного интеллекта в обучении иностранному языку // Иностранные языки в школе. 2023. № 3. С. 6-16. https://elibrary.ru/qfmzhw

3. Авраменко А.П., Ахмедова А.С., Буланова Е.Р. Технология чат-ботов как средства формирования иноязычной грамматической компетенции при самостоятельном обучении // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2023. Т. 28. № 2. С. 386-394. https://doi.org/10.20310/1810-0201-2023-28-2-386-394, https://elibrary.ru/abfjqp

4. Перминова Г.В. Использование чат-бота ChatGPT в процессе обучения немецкому языку как второму иностранному // Иностранные языки в школе. 2023. № 8. С. 46-54. https://elibrary.ru/rkuvac

5. Сысоев П.В., Филатов Е.М., Сорокин Д.О. Чат-боты в обучении иностранному языку: проблематика современных работ и перспективы предстоящих исследований // Вестник Московского университета. Серия 19: Лингвистика и межкультурная коммуникация. 2023. № 3. С. 46-59. https://doi.org/10.55959/MSU-2074-1588-19-26-3-3, https://elibrary.ru/moyjhp

6. Харламенко И.В. Чат-боты в обучении английскому языку // Иностранные языки в школе. 2023. № 3. С. 55-59. https://elibrary.ru/lebneu

7. Perdana I., Farida M. Online grammar checkers and their use for EFL writing // Journal of English Teaching, Applied Linguistics, and Literatures. 2019. Vol. 2. № 2. P. 67-76. http://dx.doi.org/10.20527/jetall.v2i2.7332

8. Dembsey J.M. Closing the Grammarly Gaps: A Study of Claims and Feedback from an Online Grammar Program // The Writing Center Journal. 2017. Vol. 36. № 1. P. 63-100. https://doi.org/10.7771/2832-9414.1815

9. Jayavalan K., Razali A.B. Effectiveness of online grammar checker to improve secondary students’ English narrative essay writing // International Research Journal of Education and Sciences. 2018. Vol. 2. № 1. P. 1-6.

10. Manap M.R., Ramli N.F., Kassim A.A.M. Web 2.0 automated essay scoring application and human ESL essay assessment: A comparison study // European Journal of English Language Teaching. 2019. Vol. 5. № 1. P. 146-162. http://dx.doi.org/10.5281/zenodo.3461784

11. Сысоев П.В., Филатов Е.М. ChatGPT в исследовательской работе студентов: запрещать или обучать? // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2023. Т. 28. № 2. С. 276-301. https://doi.org/10.20310/1810-0201-2023-28-2-276-301, https://elibrary.ru/sphxkz

12. Сысоев П.В., Филатов Е.М. Методика обучения студентов написанию иноязычных творческих работ на основе оценочной обратной связи от искусственного интеллекта // Перспективы науки и образования. 2024. № 1 (67). С. 115-135. https://doi.org/10.32744/pse.2024.1.6, https://elibrary.ru/tmstly

13. Сысоев П.В., Филатов Е.М., Сорокин Д.О. Обратная связь в обучении иностранному языку: от информационных технологий к искусственному интеллекту // Язык и культура. 2024. № 65. С. 242-261. https://doi.org/10.17223/19996195/65/11

14. Wang J., Brown M.S. Automated Essay Scoring Versus Human Scoring: A Comparative Study // Journal of Technology, Learning, and Assessment. 2007. Vol. 6. № 2. P. 1-29.

15. Guo K., Wang D. To resist it or to embrace it? Examining ChatGPT’s potential to support teacher feedback in EFL writing // Education and Information Technologies. 2023. P. 1-29. https://doi.org/10.1007/s10639-023-12146-0

16. Тормышова Т.Ю., Рязанцева Т.Ю., Суханова Н.И. Обучение студентов-лингвистов написанию эссе на иностранном языке на основе работы с системой автоматизированной оценки Criterion // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2024. Т. 29. № 1. С. 99-108. https://doi.org/10.20310/1810-0201-2024-29-1-99-108, https://elibrary.ru/pdgnzr

17. Сысоев П.В. Этика и ИИ-плагиат в академической среде: понимание студентами вопросов соблюдения авторской этики и проблемы плагиата в процессе взаимодействия с генеративным искусственным интеллектом // Высшее образование в России. 2024. Т. 33. № 2. С. 31-53. https://doi.org/10.31992/0869-3617-2024-33-2-31-53

18. Кретов Д.В. Методика обучения студентов языковых специальностей иноязычному письменному речевому высказыванию на основе метода взаимной оценки (английский язык, языковой вуз): автореф. дис. … канд. пед. наук. М., 2023. 26 с.

19. Хмаренко Н.И. Обучение студентов иноязычной письменной речи на основе педагогической технологии «Обучение в сотрудничестве» с использованием ИКТ (английский язык, языковой вуз): автореф. дис. … канд. пед. наук. Тамбов, 2023. 25 с.