РАЗРАБОТКА МОДЕЛИ КАЗАХСКОГО ЖЕСТОВОГО ЯЗЫКА ДЛЯ РАСПОЗНАВАНИЯ И ОБУЧЕНИЯ ЗАМКНУТЫХ ФРАЗ
https://doi.org/10.53360/2788-7995-2026-3(23)-8
Аннотация
Казахский язык жестов (KSL) остается недостаточно представленным в современных исследованиях по обработке языка жестов из-за отсутствия больших аннотированных наборов данных и специализированных вычислительных инструментов. В этой статье представлен основанный на глубоком обучении фреймворк для распознавания языка жестов на уровне фраз с использованием визуальных последовательностей ключевых точек, в котором каждая распознанная фраза сопоставляется с соответствующей и проверенным переводом на русский язык. Этот подход использует набор данных FluentSigners-50 в качестве эталонного корпуса и извлекает позы и ориентиры рук из видеоданных, используя целостную модель MediaPipe. Двухуровневая двунаправленная сеть долговременной кратковременной памяти (BiLSTM) обучается на основе полученных пространственно-временных последовательностей для классификации сорока различных фраз KSL. Модель принимает в качестве входных данных последовательность фиксированной длины из 150 кадров, каждый из которых содержит 225 ключевых объектов, и выводит предсказанный класс фраз через многослойный персептрон. Результаты экспериментов демонстрируют высокую эффективность в классификации фраз, с точным сопоставлением видео с глосс-метками и соответствующими переводами на русский язык, точность которых достигает 94,73%. Вместо полноценного открытого машинного перевода система решает задачу классификации фраз закрытого множества с отображением gloss-метки и эталонного перевода, что делает её применимой как для вспомогательных, так и для обучающих приложений.
Об авторах
Ә. ЖакановаКазахстан
Әсем Ерікқызы Жақанова – магистрант 1 курса
010000, Республика Казахстан, Астана, проспект Мәңгілік Ел, 55/11, блок С1
Ж. Оралбекова
Казахстан
Жанар Орымбаевна Оралбекова – PhD, ассоциированный профессор, и.о. профессора Школы ИИ и науки о данных
010000, Республика Казахстан, Астана, проспект Мәңгілік Ел, 55/11, блок С1
Д. Оралбекова
Казахстан
Дина Орымбаевна Оралбекова – PhD, ассоциированный профессор, старший научный сотрудник
050010, Республика Казахстан, Алматы, ул. Шевченко, 28
Список литературы
1. Aitim A. A systematic review on translating Kazakh sign language to speech using dynamic gesture recognition / A. Aitim, D. Sattarkhuzhayeva, A. Khairullayeva // The Bulletin of KazATC. – 2025. – Т. 138, № 3. – Р. 122-133. https://doi.org/10.52167/1609-1817-2025-138-3-122-133.
2. Creating a Parallel Corpus for the Kazakh Sign Language and Learning / A. Yerimbetova et al // Applied Sciences. – 2025. – Т. 15, № 5. – Р. 2808. https://doi.org/10.3390/app15052808.
3. Advancements in Machine Learning Techniques for Hand Gesture-Based Sign Language Recognition: A Comprehensive Review / U. Rastogi et al // Archives of Computational Methods in Engineering. – 2025. – Т. 32, № 7. – Р. 4265-4302. https://doi.org/10.1007/s11831-025-10258-z.
4. Almjally A., Almukadi W.S. Deep computer vision with artificial intelligence based sign language recognition to assist hearing and speech-impaired individuals / A. Almjally, W.S. Almukadi // Scientific Reports. – 2025. – Т. 15, № 1. – Р. 32268. https://doi.org/10.1038/s41598-025-09106-8.
5. Deep learning pathways for automatic sign language processing / M. Toshpulatov et al // Pattern Recognition. – 2025. – Т. 164. – Р. 111475. https://doi.org/10.1016/j.patcog.2025.111475.
6. Luqman H. SignVLM: a pre-trained large video model for sign language recognition / H. Luqman // PeerJ Computer Science. – 2025. – Т. 11. – Р. e3112. https://doi.org/10.7717/peerj-cs.3112.
7. Enhancing Kazakh Sign Language Recognition with BiLSTM Using YOLO Keypoints and Optical Flow / Z. Buribayev et al // Applied Sciences. – 2025. – Т. 15, № 10. – Р. 5685. https://doi.org/10.3390/app15105685.
8. Application of neural networks ensemble method for the Kazakh sign language recognition / Y. Amirgaliyev et al // Bulletin of Electrical Engineering and Informatics. – 2024. – Т. 13, № 5. – Р. 3275-3287. https://doi.org/10.11591/eei.v13i5.7803.
9. Real-time Kazakh sign language recognition using Mediapipe and SVM / L. Zholshiyeva et al // Academic Scientific Journal of Computer Science. – 2023. – № 1. – Р. 82-93. https://doi.org/10.32014/2023.2518-1726.170.
10. FluentSigners-50: A signer independent benchmark dataset for sign language processing / M. Mukushev et al // PloS ONE. – 2022. – Т. 17, № 9. – Р. e0273649. https://doi.org/10.1371/journal.pone.0273649.
11. Continuous sign language recognition and its translation into intonation-colored speech / N. Amangeldy et al // Sensors. – 2023. – Т. 23, № 14. – Р. 6383. https://doi.org/10.3390/s23146383.
12. Neural Sign Language Translation / N.C. Camgoz et al // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – Salt Lake City, USA, 2018. – Р. 7784-7793. https://doi.org/10.1109/CVPR.2018.00812.
Рецензия
Для цитирования:
Жаканова Ә., Оралбекова Ж., Оралбекова Д. РАЗРАБОТКА МОДЕЛИ КАЗАХСКОГО ЖЕСТОВОГО ЯЗЫКА ДЛЯ РАСПОЗНАВАНИЯ И ОБУЧЕНИЯ ЗАМКНУТЫХ ФРАЗ. Вестник Университета Шакарима. Серия технические науки. 2026;(3(23)):73-82. https://doi.org/10.53360/2788-7995-2026-3(23)-8
For citation:
Zhakanova A., Oralbekova Zh., Oralbekova D. DEVELOPMENT OF A MODEL OF KAZAKH SIGN LANGUAGE FOR CLOSED-SET PHRASE RECOGNITION AND TRAINING. Bulletin of Shakarim University. Technical Sciences. 2026;(3(23)):73-82. https://doi.org/10.53360/2788-7995-2026-3(23)-8
JATS XML















