kaz44Вестник Университета Шакарима. Серия технические наукиBulletin of Shakarim University. Technical Sciences2788-79953006-0524«Шәкәрім университеті» КеАҚ10.53360/2788-7995-2024-4(16)-5kaz44-1464Research ArticleАВТОМАТИЗАЦИЯ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ (ОРИГИНАЛЬНАЯ СТАТЬЯ)AUTOMATION AND INFORMATION TECHNOLOGY (ORIGINAL ARTICLE)СВЕРТОЧНЫЕ НЕЙРОННЫЕ СЕТИ ДЛЯ ОБНАРУЖЕНИЯ РЕЧЕВОЙ АКТИВНОСТИ В ПОТОКЕCONVOLUTIONAL NEURAL NETWORKS IN DETECTING SPEECH ACTIVITY IN A STREAMТаубакабылН. М.TaubakabylN. M.

Нурлыбек Мурабекулы Таубакабыл – магистрант 

010000, Республика Казахстан, г. Астана, пр. Мәңгілік Ел, С1 

Nurlybek Muratbekuly Taubakabyl – Master's Student 

010000, Republic of Kazakhstan, Astana, Mangilik El Avenue, С1 

tbkbl.03@gmail.comАстана IT УниверситетКазахстанAstana IT UniversityKazakhstan20242712202414(16)3340Copyright © Таубакабыл Н.М., 20252025Таубакабыл Н.М.Taubakabyl N.M.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://tech.vestnik.shakarim.kz/jour/article/view/1464

Исследование, представленное в этой статье, посвящено разработке системы обнаружения речевой активности в аудио потоках с использованием сверточных нейронных сетей (CNNS). Распознавание речевой активности играет решающую роль во многих современных приложениях, таких как голосовые помощники, коммуникационные платформы в режиме реального времени и службы автоматической транскрипции. В исследовании обобщены результаты девяти ключевых исследований, демонстрирующих эффективность CNNS в обработке сложных аудиоданных, отделении речевых сигналов от шума и повышении общей точности обнаружения.Исследование подчеркивает архитектурные преимущества моделей deep CNN, таких как VGG, ResNet и AlexNet, подчеркивая их способность улавливать сложные звуковые характеристики и повышать производительность в различных средах. В исследовании также рассматриваются такие методы, как увеличение объема данных и алгоритмы оптимизации, которые еще больше повышают надежность и эффективность этих моделей.Оценивая эффективность различных архитектур CNN и сравнивая различные оценочные показатели, исследователи выявляют потенциальные области для будущих исследований, такие как оптимизация моделей CNN для приложений реального времени и изучение гибридных архитектур. В целом, это исследование дает ценную информацию о состоянии распознавания речевой активности на основе CNN и его значении для реальных приложений.

The research presented in this article focuses on the development of a system for detecting speech activity in audio streams using convolutional neural networks (CNNs). Speech activity detection plays a crucial role in many modern applications, such as voice-activated assistants, real-time communication platforms, and automated transcription services. The study synthesizes findings from nine key studies, demonstrating the effectiveness of CNNs in handling complex audio data, isolating speech signals from noise, and improving overall detection accuracy.The research emphasizes the architectural advantages of deep CNN models, such as VGG, ResNet, and AlexNet, highlighting their ability to capture intricate audio features and improve performance across various environments. The study also explores techniques like data augmentation and optimization algorithms, which further enhance the robustness and efficiency of these models.By evaluating the effectiveness of different CNN architectures and comparing various evaluation metrics, the research identifies potential areas for future exploration, such as optimizing CNN models for real-time applications and exploring hybrid architectures. Overall, this research offers valuable insights into the state of CNN-based speech activity detection and its implications for real-world applications.

Сверточные нейронные сетиОбнаружение речевой активностиаудиопотокиVGGResNetAlexNetОбщение в реальном времениГолосовые помощникиРаспознавание речиОбработка звукаConvolutional Neural NetworksSpeech Activity DetectionAudio StreamsVGGResNetAlexNetReal-time CommunicationVoice-activated AssistantsSpeech RecognitionAudio ProcessingReferencesDeep speech 2: End-to-end speech recognition in English and Mandarin / D. Amodei et al // Computation and Language (cs.CL). – 2015. https://doi.org/10.48550/arXiv.1512.02595.Deep speech 2: End-to-end speech recognition in English and Mandarin / D. Amodei et al // Computation and Language (cs.CL). – 2015. https://doi.org/10.48550/arXiv.1512.02595.CNN architectures for large-scale audio classification / S. Hershey et al // In 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). – 2017. – Р. 131-135. https://arxiv.org/pdf/1609.09430.CNN architectures for large-scale audio classification / S. Hershey et al // In 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). – 2017. – Р. 131-135. https://arxiv.org/pdf/1609.09430.Very deep multilingual convolutional neural networks for LVCSR / T. Sercu et al // arXiv preprint arXiv:1509.08967. – 2016. https://arxiv.org/pdf/1509.08967.Very deep multilingual convolutional neural networks for LVCSR / T. Sercu et al // arXiv preprint arXiv:1509.08967. – 2016. https://arxiv.org/pdf/1509.08967.Luo Y. Conv-tasnet: Surpassing ideal time-frequency magnitude masking for speech separation / Y. Luo, N. Mesgarani // IEEE/ACM Transactions on Audio, Speech, and Language Processing. – 2018. – № 27(8). – Р. 1256-1266. https://arxiv.org/pdf/1809.07454.Luo Y. Conv-tasnet: Surpassing ideal time-frequency magnitude masking for speech separation / Y. Luo, N. Mesgarani // IEEE/ACM Transactions on Audio, Speech, and Language Processing. – 2018. – № 27(8). – Р. 1256-1266. https://arxiv.org/pdf/1809.07454.Grill T. Two convolutional neural networks for bird detection in audio signals / T. Grill, J. Schlüter, // In 2017 25th European Signal Processing Conference (EUSIPCO). – 2017. – Р. 1764-1768. https://www.ofai.at/~jan.schlueter/pubs/2017_eusipco.pdf.Grill T. Two convolutional neural networks for bird detection in audio signals / T. Grill, J. Schlüter, // In 2017 25th European Signal Processing Conference (EUSIPCO). – 2017. – Р. 1764-1768. https://www.ofai.at/~jan.schlueter/pubs/2017_eusipco.pdf.Joint training of deep neural networks for audio-visual automatic speech recognition / Y. Qian et al // IEEE/ACM Transactions on Audio, Speech, and Language Processing. – 2017. – № 25(12). – Р. 2381-2393. https://arxiv.org/pdf/2205.13293.Joint training of deep neural networks for audio-visual automatic speech recognition / Y. Qian et al // IEEE/ACM Transactions on Audio, Speech, and Language Processing. – 2017. – № 25(12). – Р. 2381-2393. https://arxiv.org/pdf/2205.13293.Vincent E. Performance measurement in blind audio source separation / E. Vincent, R. Gribonval, C. Févotte // IEEE Transactions on Audio, Speech, and Language Processing. – 2006. – № 14(4). – Р. 1462-1469. https://inria.hal.science/inria-00544230/document.Vincent E. Performance measurement in blind audio source separation / E. Vincent, R. Gribonval, C. Févotte // IEEE Transactions on Audio, Speech, and Language Processing. – 2006. – № 14(4). – Р. 1462-1469. https://inria.hal.science/inria-00544230/document.Convolutional neural networks for speech recognition / O. Abdel-Hamidet al // IEEE/ACM Transactions on Audio, Speech, and Language Processing. – 2014. – № 22(10). – Р. 1533-1545. https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/CNN_ASLPTrans2-14.pdfConvolutional neural networks for speech recognition / O. Abdel-Hamidet al // IEEE/ACM Transactions on Audio, Speech, and Language Processing. – 2014. – № 22(10). – Р. 1533-1545. https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/CNN_ASLPTrans2-14.pdfAccelerating very deep convolutional networks for classification and detection / X. Zhang et al // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2016. – № 38(10). – Р. 1943-1955. https://arxiv.org/pdf/1505.06798.Accelerating very deep convolutional networks for classification and detection / X. Zhang et al // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2016. – № 38(10). – Р. 1943-1955. https://arxiv.org/pdf/1505.06798.VanderPlas J. Python Data Science Handbook / J. VanderPlas // Essential Tools for Working with Data. O'Reilly Media. https://jakevdp.github.io/PythonDataScienceHandbook.VanderPlas J. Python Data Science Handbook / J. VanderPlas // Essential Tools for Working with Data. O'Reilly Media. https://jakevdp.github.io/PythonDataScienceHandbook.

The authors declare that there are no conflicts of interest present.