kaz44Вестник Университета Шакарима. Серия технические наукиBulletin of Shakarim University. Technical Sciences2788-79953006-0524«Шәкәрім университеті» КеАҚ10.53360/2788-7995-2025-4(20)-3kaz44-1953Research ArticleАВТОМАТИЗАЦИЯ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ (ОРИГИНАЛЬНАЯ СТАТЬЯ)AUTOMATION AND INFORMATION TECHNOLOGY (ORIGINAL ARTICLE)НЕЙРОСЕТЕВЫЕ МЕТОДЫ АНАЛИЗА ТЕКСТОВЫХ ОТЗЫВОВ ОБУЧАЮЩИХСЯ: АРХИТЕКТУРА, ОБУЧЕНИЕ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВNEURAL NETWORK METHODS FOR ANALYZING TEXT FEEDBACK FROM STUDENTS: ARCHITECTURE, LEARNING, AND INTERPRETATION OF RESULTShttps://orcid.org/0000-0002-8681-4552СалыковаО. С.SaltykovaO. S.

Ольга Сергеевна Cалыкова – кандидат технических наук, ассоциированный профессор кафедры «Программного обеспечения» 

110000, Республика Казахстан, г. Костанай, ул. А. Байтурсынова, 47 

Olga Salykova – сandidate of technical sciences, associate professor of the Department of Software Engineering

110000, Republic of Kazakhstan, Kostanay, 47 A. Baitursynova street 

solga0603@mail.ruhttps://orcid.org/0009-0001-2233-092XАртыкбаеваА. А.ArtykbayevaA. A.

Асель Айдарбековна Артыкбаева – докторант кафедры «Программного обеспечения»

110000, Республика Казахстан, г. Костанай, ул. А. Байтурсынова, 47

Assel Artykbayeva – doctoral student of the department of Software Engineering

110000, Republic of Kazakhstan, Kostanay, 47 A. Baitursynova street 

asel_aidarbekowna@mail.ruhttps://orcid.org/0009-0000-4288-9774ИскаковаА. М.IskakovaA. M.

Альмира Мухтаровна Искакова – докторант кафедры «Программного обеспечения»

110000, Республика Казахстан, г. Костанай, ул. А. Байтурсынова, 47 

Almira Iskakova – doctoral student of the department of Software Engineering

110000, Republic of Kazakhstan, Kostanay, 47 A. Baitursynova street

n.a.almira.24@gmail.comhttps://orcid.org/0009-0002-4459-5010НурмагамбетоваЛ. И.NurmagambetovaL. I.

Ляйля Искендировна Нурмагамбетова – кандидат экономических наук, ассоциированный профессор ассоциированный профессор кафедры «Социально-экономических дисциплин»

110000, Республика Казахстан, г. Костанай, ул. Чернышевского, 59 

Lyailya Nurmagambetova – сandidate of еconomic sciences, associate professor, associate professor of the Department of Socio-economic disciplines

110000, Republic of Kazakhstan, Kostanay, 59 Chernyshevsky street 

Leila0205@mail.ruКостанайский региональный университет имени Ахмет БайтұрсынұлыКазахстанKostanay Regional University named after Akhmet BaitursynulyKazakhstanКостанайский инженерно-экономический университет имени Мыржакыпа ДулатоваКазахстанKostanay Engineering and Economics University named after Myrzhakyp DulatovKazakhstan20252501202614(20)2431Copyright © Салыкова О.С., Артыкбаева А.А., Искакова А.М., Нурмагамбетова Л.И., 20262026Салыкова О.С., Артыкбаева А.А., Искакова А.М., Нурмагамбетова Л.И.Saltykova O.S., Artykbayeva A.A., Iskakova A.M., Nurmagambetova L.I.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://tech.vestnik.shakarim.kz/jour/article/view/1953

В статье представлен сравнительный анализ нейросетевых архитектур LSTM, BiLSTM и RuBERT, применяемых для автоматической классификации студенческих отзывов. Особое внимание уделено задачам предобработки данных, ручной разметки с учётом эмоциональной окраски и тематических аспектов, а также оценке надёжности корпуса с использованием коэффициента согласия Cohen’s kappa (0,82). Экспериментальные результаты показали, что RuBERT обеспечивает наивысшие значения Accuracy (0,87) и F1-score (0,85), что статистически подтверждено результатами t-теста. В то же время BiLSTM продемонстрировала более высокую эффективность по сравнению с LSTM благодаря учёту контекста в обеих направлениях. Проведённый анализ ошибок показал, что рекуррентные модели чаще всего путают нейтральные и отрицательные отзывы, а трансформерная архитектура лучше справляется с обработкой двусмысленных формулировок и скрытых эмоциональных оттенков. Практическая значимость исследования заключается в возможности интеграции разработанного подхода в системы LMS и цифровые образовательные платформы для автоматизации анализа обратной связи студентов. В качестве перспективных направлений обозначены расширение корпуса за счёт казахоязычных текстов и использование современных моделей семейства Transformer (RoBERTa, DeBERTa, ChatGLM).

This article presents a comparative analysis of neural network architectures LSTM, BiLSTM, and RuBERT applied to the automatic classification of student feedback. Particular attention is paid to data preprocessing, manual annotation with consideration of sentiment and thematic aspects, as well as corpus reliability assessment using Cohen’s kappa coefficient (0.82). The experimental results show that RuBERT achieves the highest Accuracy (0.87) and F1-score (0.85), which is statistically confirmed by t-test results. At the same time, BiLSTM demonstrates higher efficiency compared to LSTM due to its ability to capture bidirectional context. Error analysis revealed that recurrent models most often confuse neutral and negative feedback, while the transformer-based architecture performs better in handling ambiguous expressions and subtle emotional nuances. The practical significance of the study lies in the possibility of integrating the proposed approach into LMS and digital educational platforms to automate the analysis of student feedback. Future research directions include expanding the corpus with Kazakh-language texts and applying advanced Transformer-based models (RoBERTa, DeBERTa, ChatGLM).

нейросетевой анализ текстаобразовательная аналитикаBERTLSTMавтоматическая классификацияобработка текстовобратная связь студентовинтеллектуальные системы образованияneural network text analysiseducational analyticsBERTLSTMautomatic classificationtext preprocessingstudent feedbackintelligent educational systemsReferencesВаснецова Е.Л. Применение методов анализа тональности в образовательной среде / Е.Л. Васнецова, Д.А. Семенов // Образовательные технологии и общество. – 2021. – № 24(1). – С.105-116.Vasnetsova E.L. Primenenie metodov analiza tonal'nosti v obrazovatel'noi srede / E.L. Vasnetsova, D.A. Semenov // Obrazovatel'nye tekhnologii i obshchestvo. – 2021. – № 24(1). – S.105-116. (In Russian).Efficient estimation of word representations in vector space / Т. Mikolov et al // arXiv preprint arXiv:1301.3781, 2013.Efficient estimation of word representations in vector space / T. Mikolov et al // arXiv preprint arXiv:1301.3781, 2013. (In English).Cortes C. Support-vector networks / C. Cortes, V. Vapnik // Machine Learning. – 1995. – № 20(3). – Р. 273-297.Cortes C. Support-vector networks / C. Cortes, V. Vapnik // Machine Learning. – 1995. – № 20(3). – R. 273-297. (In English).Schuster M.K. Bidirectional recurrent neural networks / M. Schuster, K.K. Paliwal // IEEE Transactions on Signal Processing. – 1997. – № 45(11). – Р. 2673-2681.Schuster M.K. Bidirectional recurrent neural networks / M. Schuster, K.K. Paliwal // IEEE Transactions on Signal Processing. – 1997. – № 45(11). – R. 2673-2681. (In English).Hochreiter S. Long short-term memory / S. Hochreiter, J. Schmidhuber // Neural Computation. – 1997. – № 9(8). – Р. 1735-1780.Hochreiter S. Long short-term memory / S. Hochreiter, J. Schmidhuber // Neural Computation. – 1997. – № 9(8). – R. 1735-1780. (In English).RoBERTa – BiLSTM: A Context – Aware Hybri Model for Sentiment Analysis / Rahman M.M. et al // arXiv preprint arXiv:2406.00367. – 2024. https://doi.org/10.48550/arXiv.2406.00367.RoBERTa – BiLSTM: A Context – Aware Hybri Model for Sentiment Analysis / Rahman M.M. et al // arXiv preprint arXiv:2406.00367. – 2024. https://doi.org/10.48550/arXiv.2406.00367. (In English).BERT: Pre-training of deep bidirectional transformers for language understanding / J. Devlin et al // Proceedings of NAACL-HLT. – 2019. – Р. 4171-4186.BERT: Pre-training of deep bidirectional transformers for language understanding / J. Devlin et al // Proceedings of NAACL-HLT. – 2019. – R. 4171-4186. (In English).RoBERTa: A robustly optimized BERT pretraining approach / Y. Liu et al // arXiv preprint arXiv:1907. – 2019. – Р. 11692.RoBERTa: A robustly optimized BERT pretraining approach / Y. Liu et al // arXiv preprint arXiv:1907. – 2019. – R. 11692. (In English).Lin F. Sentiment analysis in online education: An analytical approach and application / F. Lin // Proceedings of the International Conference on Machine Learning and Automation. – 2024.Lin F. Sentiment analysis in online education: An analytical approach and application / F. Lin // Proceedings of the International Conference on Machine Learning and Automation. – 2024. (In English).An improved neural network model for sentiment analysis in online education / В. Xu et al // Journal of Intelligent & Fuzzy Systems. – 2020. – № 38(3). – Р. 3651-3662.An improved neural network model for sentiment analysis in online education / V. Xu et al // Journal of Intelligent & Fuzzy Systems. – 2020. – № 38(3). – R. 3651-3662. (In English).Elevating educational insights: Sentiment analysis of faculty feedback using advanced machine learning models / S.B. Deshpande et al // Advances in Continuous and Discrete Models. – 2025.Elevating educational insights: Sentiment analysis of faculty feedback using advanced machine learning models / S.B. Deshpande et al // Advances in Continuous and Discrete Models. – 2025. (In English).Zhang W. Comparative evaluation of Transformer-based models for multilingual sentiment analysis / W. Zhang, L. Xu, J. Wang // Journal of Artificial Intelligence Research. – 2024. – № 71. – Р. 55-72.Zhang W. Comparative evaluation of Transformer-based models for multilingual sentiment analysis / W. Zhang, L. Xu, J. Wang // Journal of Artificial Intelligence Research. – 2024. – № 71. – R. 55-72. (In English).Xu R. Advances in DeBERTa for educational text mining / R. Xu, H. Chen, Z. Huang // Computers & Education. – 2025. – № 198. – Р. 104719.Xu R. Advances in DeBERTa for educational text mining / R. Xu, H. Chen, Z. Huang // Computers & Education. – 2025. – № 198. – R. 104719. (In English).Li X. Sentiment analysis in educational contexts: Comparing LSTM and BiLSTM approaches / X. Li, Y. Zhang, H. Zhao // Education and Information Technologies. – 2023. – № 28(2). – Р. 213-229.Li X. Sentiment analysis in educational contexts: Comparing LSTM and BiLSTM approaches / X. Li, Y. Zhang, H. Zhao // Education and Information Technologies. – 2023. – № 28(2). – R. 213-229. (In English).

The authors declare that there are no conflicts of interest present.