Төртінші нөмірге барлық бағыттар бойынша мақалалар қабылдау аяқталды.

Приём статей в четвёртый номер по всем направлениям закрыт.

Submissions for the fourth issue are now closed across all subject areas.

Preview

Вестник Университета Шакарима. Серия технические науки

Вестник Университета Шакарима. Серия технические науки

Расширенный поиск

РАЗРАБОТКА МОДЕЛИ КАЗАХСКОГО ЖЕСТОВОГО ЯЗЫКА ДЛЯ РАСПОЗНАВАНИЯ И ОБУЧЕНИЯ ЗАМКНУТЫХ ФРАЗ

https://doi.org/10.53360/2788-7995-2026-3(23)-8

Аннотация

Казахский язык жестов (KSL) остается недостаточно представленным в современных исследованиях по обработке языка жестов из-за отсутствия больших аннотированных наборов данных и специализированных вычислительных инструментов. В этой статье представлен основанный на глубоком обучении фреймворк для распознавания языка жестов на уровне фраз с использованием визуальных последовательностей ключевых точек, в котором каждая распознанная фраза сопоставляется с соответствующей и проверенным переводом на русский язык. Этот подход использует набор данных FluentSigners-50 в качестве эталонного корпуса и извлекает позы и ориентиры рук из видеоданных, используя целостную модель MediaPipe. Двухуровневая двунаправленная сеть долговременной кратковременной памяти (BiLSTM) обучается на основе полученных пространственно-временных последовательностей для классификации сорока различных фраз KSL. Модель принимает в качестве входных данных последовательность фиксированной длины из 150 кадров, каждый из которых содержит 225 ключевых объектов, и выводит предсказанный класс фраз через многослойный персептрон. Результаты экспериментов демонстрируют высокую эффективность в классификации фраз, с точным сопоставлением видео с глосс-метками и соответствующими переводами на русский язык, точность которых достигает 94,73%. Вместо полноценного открытого машинного перевода система решает задачу классификации фраз закрытого множества с отображением gloss-метки и эталонного перевода, что делает её применимой как для вспомогательных, так и для обучающих приложений.

Об авторах

Ә. Жаканова
Astana IT University
Казахстан

Әсем Ерікқызы Жақанова – магистрант 1 курса

010000, Республика Казахстан, Астана, проспект Мәңгілік Ел, 55/11, блок С1



Ж. Оралбекова
Astana IT University
Казахстан

Жанар Орымбаевна Оралбекова – PhD, ассоциированный профессор, и.о. профессора Школы ИИ и науки о данных

010000, Республика Казахстан, Астана, проспект Мәңгілік Ел, 55/11, блок С1



Д. Оралбекова
Институт информационных и вычислительных технологий
Казахстан

Дина Орымбаевна Оралбекова – PhD, ассоциированный профессор, старший научный сотрудник

050010, Республика Казахстан, Алматы, ул. Шевченко, 28



Список литературы

1. Aitim A. A systematic review on translating Kazakh sign language to speech using dynamic gesture recognition / A. Aitim, D. Sattarkhuzhayeva, A. Khairullayeva // The Bulletin of KazATC. – 2025. – Т. 138, № 3. – Р. 122-133. https://doi.org/10.52167/1609-1817-2025-138-3-122-133.

2. Creating a Parallel Corpus for the Kazakh Sign Language and Learning / A. Yerimbetova et al // Applied Sciences. – 2025. – Т. 15, № 5. – Р. 2808. https://doi.org/10.3390/app15052808.

3. Advancements in Machine Learning Techniques for Hand Gesture-Based Sign Language Recognition: A Comprehensive Review / U. Rastogi et al // Archives of Computational Methods in Engineering. – 2025. – Т. 32, № 7. – Р. 4265-4302. https://doi.org/10.1007/s11831-025-10258-z.

4. Almjally A., Almukadi W.S. Deep computer vision with artificial intelligence based sign language recognition to assist hearing and speech-impaired individuals / A. Almjally, W.S. Almukadi // Scientific Reports. – 2025. – Т. 15, № 1. – Р. 32268. https://doi.org/10.1038/s41598-025-09106-8.

5. Deep learning pathways for automatic sign language processing / M. Toshpulatov et al // Pattern Recognition. – 2025. – Т. 164. – Р. 111475. https://doi.org/10.1016/j.patcog.2025.111475.

6. Luqman H. SignVLM: a pre-trained large video model for sign language recognition / H. Luqman // PeerJ Computer Science. – 2025. – Т. 11. – Р. e3112. https://doi.org/10.7717/peerj-cs.3112.

7. Enhancing Kazakh Sign Language Recognition with BiLSTM Using YOLO Keypoints and Optical Flow / Z. Buribayev et al // Applied Sciences. – 2025. – Т. 15, № 10. – Р. 5685. https://doi.org/10.3390/app15105685.

8. Application of neural networks ensemble method for the Kazakh sign language recognition / Y. Amirgaliyev et al // Bulletin of Electrical Engineering and Informatics. – 2024. – Т. 13, № 5. – Р. 3275-3287. https://doi.org/10.11591/eei.v13i5.7803.

9. Real-time Kazakh sign language recognition using Mediapipe and SVM / L. Zholshiyeva et al // Academic Scientific Journal of Computer Science. – 2023. – № 1. – Р. 82-93. https://doi.org/10.32014/2023.2518-1726.170.

10. FluentSigners-50: A signer independent benchmark dataset for sign language processing / M. Mukushev et al // PloS ONE. – 2022. – Т. 17, № 9. – Р. e0273649. https://doi.org/10.1371/journal.pone.0273649.

11. Continuous sign language recognition and its translation into intonation-colored speech / N. Amangeldy et al // Sensors. – 2023. – Т. 23, № 14. – Р. 6383. https://doi.org/10.3390/s23146383.

12. Neural Sign Language Translation / N.C. Camgoz et al // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – Salt Lake City, USA, 2018. – Р. 7784-7793. https://doi.org/10.1109/CVPR.2018.00812.


Рецензия

Для цитирования:


Жаканова Ә., Оралбекова Ж., Оралбекова Д. РАЗРАБОТКА МОДЕЛИ КАЗАХСКОГО ЖЕСТОВОГО ЯЗЫКА ДЛЯ РАСПОЗНАВАНИЯ И ОБУЧЕНИЯ ЗАМКНУТЫХ ФРАЗ. Вестник Университета Шакарима. Серия технические науки. 2026;(3(23)):73-82. https://doi.org/10.53360/2788-7995-2026-3(23)-8

For citation:


Zhakanova A., Oralbekova Zh., Oralbekova D. DEVELOPMENT OF A MODEL OF KAZAKH SIGN LANGUAGE FOR CLOSED-SET PHRASE RECOGNITION AND TRAINING. Bulletin of Shakarim University. Technical Sciences. 2026;(3(23)):73-82. https://doi.org/10.53360/2788-7995-2026-3(23)-8

Просмотров: 23

JATS XML


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2788-7995 (Print)
ISSN 3006-0524 (Online)
X