vestsutmbВестник Тамбовского университета. Серия: Гуманитарные наукиTambov University Review. Series: Humanities1810-02012782-5825Derzhavin Tambov State University10.20310/1810-0201-2023-28-2-276-301vestsutmb-217Research ArticleТЕОРИЯ И МЕТОДИКА ОБУЧЕНИЯ ИНОСТРАННОМУ ЯЗЫКУTHEORY AND METHODS OF FOREIGN LANGUAGE TEACHINGChatGPT в исследовательской работе студентов: запрещать или обучать?ChatGPT in students’ research: to forbid or to teach?https://orcid.org/0000-0001-7478-7828СысоевП. В.SysoyevP. V.

Сысоев Павел Викторович - доктор педагогических наук, профессор, заведующий лабораторией языкового поликультурного образования, Scopus Author ID: 8419258800, Researcher ID: I-6136-2016.

392000, Тамбов, ул. Интернациональная, 33

Pavel V. Sysoyev - Dr. habil. (Education), Professor, Head of Foreign Language Multicultural Education Research Laboratory. Scopus Author ID: 8419258800, Researcher ID: I-6136-2016.

33 Internatsionalnaya St., Tambov, 392000

psysoyev@yandex.ruhttps://orcid.org/0000-0001-6331-4718ФилатовЕ. М.FilatovE. M.

Филатов Евгений Михайлович - научный сотрудник лаборатории языкового поликультурного образования.

392000, Тамбов, ул. Интернациональная, 33

Evgeny M. Filatov - Research Scholar of Foreign Language Multicultural Education Research Laboratory.

33 Internatsionalnaya St., Tambov, 392000

filatovgenya200@gmail.comФГБОУ ВО «Тамбовский государственный университет им. Г.Р. Державина»РоссияDerzhavin Tambov State UniversityRussian Federation202330062023282276301Copyright © Сысоев П.В., Филатов Е.М., 20232023Сысоев П.В., Филатов Е.М.Sysoyev P.V., Filatov E.M.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestsutmb.elpub.ru/jour/article/view/217Актуальность

Актуальность. ChatGPT, разработанный на основе технологий искусственного интеллекта, способен значительно изменить научно-исследовательскую деятельность ученых и студентов, выполняя за них некоторую рутинную работу по поиску и обработке литературных источников и других данных, а также составлению исследовательских текстов. Вместе с тем интеграция ChatGPT в образование и науку вызывает бурные дискуссии в академической среде.

Целью данной работы является: а) проведение обзора исследований, посвященных использованию чат-ботов в целом и ChatGPT в частности в исследовательской работе; б) проведение эмпирического исследования для проверки способности ChatGPT составлять исследовательские тексты и описание результатов анализа полученных данных; в) определение и обсуждение ключевых вопросов, связанных с эффективностью использования ChatGPT в исследовательской работе студентов.

Материалы и методы

Материалы и методы. Эмпирическое исследование проводилось в Тамбовском государственном университете имени Г.Р. Державина и включало взаимодействие с ChatGPT с целью составления на его основе фрагментов исследовательской работы, состоящих из актуальности темы, обзора литературы (определений понятий и известных в конкретной области знания положений), анализа результатов поиска, подбора библиографии. Опытная работа проводилось на материале методики обучения иностранным языкам.

Результаты исследования

Результаты исследования. ChatGPT доказал свою состоятельность в решении лишь нескольких исследовательских задач в соответствии с запросами пользователя (формулировать актуальность работы, приводить предложенные разными авторами определения понятий и описание устоявшихся конструктов, проводить анализ и обобщение результатов данных, генерировать новые данные, составлять библиографический список). Объем обзоров и глубина их содержания оказались больше удовлетворительного и неудовлетворительного качества. Кроме того, в случаях нехватки необходимой информации для решения поставленной задачи ChatGPT прибегал к фальсификации данных и генерированию несуществующих сведений.

Выводы

Выводы. На основе анализа данных поисковых запросов авторы выделяют перечень ключевых вопросов и проблем, решение которых будет способствовать более эффективному использованию ChatGPT в исследовательской работе молодых ученых и студентов. К таким вопросам относятся следующие: а) качество предоставляемых ChatGPT материалов по запросам пользователя; б) доступность ChatGPT и других аналоговых программ; в) способности и возможности ChatGPT предоставлять определенные материалы и выполнять некоторые аналитические функции; г) контекстность серии запросов; д) сочетание традиционной интеллектуальной работы человека с работой на основе ChatGPT; е) авторская этика написания исследовательских текстов; ж) неспособность ChatGPT адаптировать результаты поисковых запросов к уровню владения языком пользователем; з) воспитательный аспект создания ChatGPT исследовательских текстов; и) цена вопроса (или к каким временным и трудоемким затратам приведет использование ChatGPT в исследовательской работе); к) компетентность пользователя в профессиональной сфере при использовании ChatGPT.

Importance

Importance. ChatGPT, developed on the basis of artificial intelligence technologies, is able to significantly change the scientific research activity of scientists and students, performing for them some routine work on searching and processing literary sources and other data, as well as compiling research texts. At the same time, the integration of ChatGPT into education and science causes heated discussions in the academic environment.

The purpose of the research is a) to review studies on the use of chatbots in general and ChatGPT in particular in research work, b) to conduct an empirical study to test the ability of ChatGPT to compose research texts and describe the results of the analysis of the data obtained; c) to identify and discuss key issues related to the effectiveness of using ChatGPT in students’ research work.

Materials and methods

Materials and methods. The empirical study was conducted at Derzhavin Tambov State University and included interaction with ChatGPT in order to compile on its basis fragments of research work consisting of the relevance of the topic, a literature review (definitions of concepts and positions known in a particular field of knowledge), analysis of search results, selection of bibliography. The experimental work was carried out on the material of the methods of teaching foreign languages.

Results and Discussion

Results and Discussion. ChatGPT has proven its worth in solving only a few research tasks in accordance with user requests (to formulate the relevance of the work, to give definitions of concepts proposed by different authors and descriptions of established constructs, to analyze and summarize data results, to generate new data, to compile a bibliographic list). The volume of reviews and the depth of their content turned out to be of more satisfactory and unsatisfactory quality. In addition, in cases of lack of the necessary information to solve the task, ChatGPT resorted to falsifying data and generating non-existent information.

Conclusion

Conclusion. Based on the analysis of search query data, the authors identify a list of key issues and problems, the solution of which will contribute to a more effective use of ChatGPT in the research work of young scientists and students. Such issues include the following: a) the quality of the materials provided by ChatGPT at the user’s request; b) the availability of ChatGPT and other analog programs; c) the ability and capabilities of ChatGPT to provide certain materials and perform some analytical functions; d) the contextuality of a series of requests; e) the combination of traditional intellectual work of a person with work based on ChatGPT; f) the author’s ethics of writing research texts; g) the inability of ChatGPT to adapt the results of search queries to the user’s level of language proficiency; h) the educational aspect of creating ChatGPT research texts; i) the price of the question (or to what time and labor-intensive costs lead the using of ChatGPT in research work); j) the competence of the user in the professional field when using ChatGPT.

искусственный интеллектчат-ботынейросетиисследовательская работаChatGPTReferencesHwang G.J., Chang C.Y. A review of opportunities and challenges of chatbots in education // Interactive Learning Environments. 2021. P. 1-14. URL: https://www.tandfonline.com/doi/full/10.1080/10494820.2021.1952615 (accessed: 21.12.2022), https://doi.org/10.1080/10494820.2021.1952615Hwang G.J., Chang C.Y. (2021). A review of opportunities and challenges of chatbots in education. Interactive Learning Environments, pp. 1-14. Available at: https://www.tandfonline.com/doi/full/10.1080/10494820.2021.1952615 (accessed: 21.12.2022), https://doi.org/10.1080/10494820.2021.1952615Io H.N., Lee C.B. Chatbots and conversational agents: A bibliometric analysis // IEEE International Conference on Industrial Engineering and Engineering Management (IEEM). Singapore, 2017. P. 215-219. https://doi.org/10.1109/IEEM.2017.8289883Io H.N., Lee C.B. (2017). Chatbots and conversational agents: A bibliometric analysis. IEEE International Conference on Industrial Engineering and Engineering Management (IEEM). Singapore, pp. 215-219. https://doi.org/10.1109/IEEM.2017.8289883Коробова А.Н., Чижик Н.Д. Использование чат-ботов в качестве дополнительного помощника для абитуриентов МРК // Научная конференция учащихся колледжа: материалы 58-й научной конференции аспирантов, магистрантов и студентов БГУИР / под ред. В.В. Шаталовой, М.А. Бельчик, Е.А. Лазицкас и др. 2022. Минск. С. 70-73. URL: https://libeldoc.bsuir.by/handle/123456789/49046 (дата обращения: 16.01.2023).Korobova A.N., Chizhik N.D. (2022). Using chatbots as an additional assistant for RTO applicants. In: Shatalova V.V., Belchik M.A., Lazitskas E.A. et al. (eds.). Materialy 58-i nauchnoi konferentsii aspirantov, magistrantov i studentov BGUIR «Nauchnaya konferentsiya uchashchikhsya kolledzha» [Proceedings of the 58th Scientific Conference of Post-Graduate Student, Master’s Degree Student and Students of Belarusian State University of Informatics and Radioelectronics “Scientific Conference of College Students”]. Minsk, pp. 70-73. (In Russ.) Available at: https://libeldoc.bsuir.by/handle/123456789/49046 (accessed 16.01.2023).Dokukina I., Gumanova J. The rise of chatbots – new personal assistants in foreign language learning // Procedia Computer Science. 2020. Vol. 169. P. 542-546. https://doi.org/10.1016/j.procs.2020.02.212Dokukina I., Gumanova J. (2020). The rise of chatbots – new personal assistants in foreign language learning. Procedia Computer Science, vol. 169, pp. 525-546. https://doi.org/10.1016/j.procs.2020.02.212Кадеева О.Е., Сырицина В.Н. Чат-боты и особенности их использования в образовании // Информатика в школе. 2020. № 10 (163). С. 45-53. https://doi.org/10.32517/2221-1993-2020-19-10-45-53, https://elibrary.ru/uqlytrKadeeva O.E., Syritsina V.N. (2020). Chatbots and features of their use in education. Informatika v shkole = Informatics in School, no. 10 (163), pp. 45-53. (In Russ.) https://doi.org/10.32517/2221-1993-2020-19-1045-53, https://elibrary.ru/uqlytrСысоев П.В., Филатов Е.М. Чат-боты в обучении иностранному языку: преимущества и спорные вопросы // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2023. Т. 28. № 1. С. 6672. https://doi.org/10.20310/1810-0201-2023-28-1-66-72, https://elibrary.ru/pxgztjSysoev P.V., Filatov E.M. (2023). Chatbots in teaching a foreign language: advantages and controversial issues. Vestnik Tambovskogo universiteta. Seriya: Gumanitarnye nauki = Tambov University Review. Series: Humanities, vol. 28, no. 1. pp. 66-72. (In Russ.) https://doi.org/10.20310/1810-0201-2023-28-1-66-72, https://elibrary.ru/pxgztjХарламенко И.В. Чат-боты в обучении английскому языку // Иностранные языки в школе. 2023. № 3. С. 55-59. https://elibrary.ru/lebneuKharlamenko I.V. (2023). Chatbots in teaching English. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 55-59. (In Russ.) https://elibrary.ru/lebneuСысоев П.В., Филатов Е.М., Сорокин Д.О. Искусственный интеллект в обучении иностранному языку: чат-боты в развитии умений иноязычного речевого взаимодействия обучающихся // Иностранные языки в школе. 2023. № 3. С. 45-54. https://elibrary.ru/gdjormSysoev P.V., Filatov E.M., Sorokin D.O. (2023). Artificial intelligence in foreign language teaching: chatbots in the development of students’ foreign language speaking skills. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 45-54. (In Russ.) https://elibrary.ru/gdjormАвраменко А.П., Тарасов А.А. Технология распознавания речи искусственным интеллектом для развития устно-речевых умений при подготовке к ЕГЭ // Иностранные языки в школе. 2023. № 3. С. 6067. https://elibrary.ru/jqzchvAvramenko A.P., Tarasov A.A. (2023). Artificial intelligence speech recognition technologies for the development of speaking skills within the unified state exam preparation. Inostrannye yazyki v shkole = Foreign Languages at School, no. 3, pp. 60-67. (In Russ.) https://elibrary.ru/jqzchvThorp H. ChatGPT is fun, but not an author // Science. 2023. Vol. 379. № 6630. P. 313-314. https://doi.org/10.1126/science.adg7879Thorp H. (2023). ChatGPT is fun, but not an author. Science. vol. 379, no. 6630, pp. 313-314. https://doi.org/10.1126/science.adg7879Dis van E. A.M., Bollen J., Rooij van R. et al. ChatGPT: five priorities for research // Nature. 2023. Vol. 614. P. 224-226. https://doi.org/10.1038/d41586-023-00288-7Dis van E.A.M., Bollen J., Rooij van R. et al. (2023). ChatGPT: five priorities for research. Nature, vol. 614, pp. 224-226. https://doi.org/10.1038/d41586-023-00288-7Жадан А. Как я написал диплом с помощью ChatGPT и оказался в центре спора о нейросетях в образовании // Журнал Тинькофф. 2023. URL: https://journal.tinkoff.ru/neuro-diploma/Zhadan A. (2023). Kak ya napisal diplom s pomoshch’yu ChatGPT i okazalsya v tsentre spora o neirosetyakh v obrazovanii. Zhurnal Tin’koff. (In Russ.) URL: https://journal.tinkoff.ru/neuro-diploma/Elkins K., Chun J. Can GPT-3 Pass a Writer’s Turing Test? // Journal of Cultural Analytics. 2020. Vol. 5. № 2. P. 1 -16. URL: https://culturalanalytics.org/article/17212-can-gpt-3-pass-a-writer-s-turing-test (accessed: 21.12.2022), https://doi.org/10.22148/001c.17212Elkins K., Chun J. (2020). Can GPT-3 Pass a Writer’s Turing Test? Journal of Cultural Analytics, vol. 5, no. 2, pp. 1-16. Available at: https://culturalanalytics.org/article/17212-can-gpt-3-pass-a-writer-s-turing-test (accessed 21.12.2022), https://doi.org/10.22148/001c.17212Gao C.A., Howard F.M., Markov N.S. et al. Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human reviewers // bioRxiv, 2022. P. 1-18. URL: https://www.biorxiv.org/content/10.1101/2022.12.23.521610v1.full (accessed: 21.12.2022), https://doi.org/10.1101/2022.12.23.521610Gao C.A., Howard F.M., Markov N.S. et al. (2022). Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human reviewers. bioRxiv. P. 1-18. Available at: https://www.biorxiv.org/content/10.1101/2022.12.23.521610v1.full (accessed 21.12.2022), https://doi.org/10.1101/2022.12.23.521610Cotton D.R.E., Cotton P.A., Shipway J.R. Chatting and Cheating. Ensuring academic integrityin the era of ChatGPT // EdArXiv. 2023. P. 1-11. URL: https://edarxiv.org/mrz8h/ (accessed: 29.03.2023), https://doi.org/10.35542/osf.io/mrz8hCotton D.R.E., Cotton P.A., Shipway J.R. (2023). Chatting and Cheating. Ensuring academic integrity in the era of ChatGPT. EdArXiv. pp. 1-11. Available at: https://edarxiv.org/mrz8h/ (accessed 29.03.2023), https://doi.org/10.35542/osf.io/mrz8hNassim D. Plagiarism in the age of massive Generative Pre-trained Transformers (GPT-3) // Ethics in Science and Environmental Politics. 2021. Vol. 21. P. 17-23. https://doi.org/10.3354/esep00195Nassim D. (2021). Plagiarism in the age of massive Generative Pre-trained Transformers (GPT-3). Ethics in Science and Environmental Politics, vol. 21, pp. 17-23. https://doi.org/10.3354/esep00195Rosenblatt K. (NBC News). ChatGPT banned from New York City public schools’ devices and networks. January 2023. Accessed: 22.01.2023. URL: https://nbcnews.to/3iTE0t6Rosenblatt K. (NBC News). ChatGPT banned from New York City public schools’ devices and networks. January 2023. Accessed 22.01.2023. https://nbcnews.to/3iTE0t6Halaweh M. ChatGPT in education: Strategies for responsible // Contemporary Educational Technology. 2023. Vol. 15. № 2. P. 1-11. URL: https://www.cedtech.net/article/chatgpt-in-education-strategies-forresponsible-implementation-13036 (accessed: 24.03.2023), https://doi.org/10.30935/cedtech/13036Halaweh M. (2023). ChatGPT in education: Strategies for responsible. Contemporary Educational Technology, vol. 15, no. 2, pp. 1-11. Available at: https://www.cedtech.net/article/chatgpt-in-education-strategiesfor-responsible-implementation-13036 (accessed 24.03.2023), https://doi.org/10.30935/cedtech/13036Ивахненко Е.Н., Никольский В.С.ChatGPT в высшем образовании и науке: угрозы или ценный ресурс? // Высшее образование в России. 2023. Т. 32. № 4. С. 9-22. https://doi.org/10.31992/0869-36172023-32-4-9-22Ivakhnenko E.N., Nikolskii V.S. (2023). ChatGPT in Higher Education and Science: a Threat or a Valuable Resource? Vysshee obrazovanie v Rossii = Higher Education in Russia, vol. 32, no. 4, pp. 9-22. (In Russ.) https://doi.org/10.31992/0869-3617-2023-32-4-9-22Гаркуша Н.С., Городова Ю.С. Педагогические возможности ChatGPT для развития когнитивной активности студентов // Профессиональное образование и рынок труда. 2023. Т. 11. № 1. С. 6-23. https://doi.org/10.52944/PORT.2023.52.1.001, https://elibrary.ru/nbbirgGarkusha N.S., Gorodova Yu.S. (2023). Pedagogical opportunities of ChatGPT for developing cognitive activity of students. Professional’noe obrazovanie i rynok truda = Vocational Education and Labour Market, vol. 11, no. 1, pp. 6-23. (In Russ.) https://doi.org/10.52944/PORT.2023.52.1.001, https://elibrary.ru/nbbirg

The authors declare that there are no conflicts of interest present.