Төртінші нөмірге барлық бағыттар бойынша мақалалар қабылдау аяқталды.

Приём статей в четвёртый номер по всем направлениям закрыт.

Submissions for the fourth issue are now closed across all subject areas.

Preview

Вестник Университета Шакарима. Серия технические науки

Вестник Университета Шакарима. Серия технические науки

Расширенный поиск

УПРАВЛЕНИЕ МОЩНОСТЬЮ ВОСХОДЯЩЕГО КАНАЛА НА ОСНОВЕ SAC В 5G NR: ГЛУБОКОЕ ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ ДЛЯ СОВМЕСТНОЙ ОПТИМИЗАЦИИ ПРОПУСКНОЙ СПОСОБНОСТИ И ЭНЕРГОЭФФЕКТИВНОСТИ

https://doi.org/10.53360/2788-7995-2026-3(23)-31

Аннотация

В статье исследуется применение Soft Actor-Critic (SAC) для управления мощностью восходящего канала в сетях 5G NR. Разработан совместимый с Gymnasium симулятор для 10 пользователей на основе модели 3GPP TR 38.901 UMa NLOS. Агент SAC совместно определяет непрерывные мощности передачи в диапазоне [0, 30] дБм. Три независимо обученные политики SAC оценивались на 100 общих сценариях и сравнивались с Full Power, Equal Power и упрощенным 3GPPinspired Fractional Power Control. При использовании стандартной сетевой метрики энергоэффективности SAC достигает 14,866 Мбит/с/Дж при средней мощности 9,905 дБм и пропускной способности 2,540 Мбит/с. Энергоэффективность статистически выше, чем у Full Power и упрощенного FPC, однако отличие от Equal Power после поправки на множественные сравнения статистически незначимо. Анализ чувствительности весов функции вознаграждения показывает, что изменение приоритетов смещает компромисс между пропускной способностью и энергоэффективностью и не выявляет единственной доминирующей конфигурации.

Об авторах

С. Айбагаров
Казахский национальный университет имени аль-Фараби
Казахстан

Серик Айбагаров – студент, младший научный сотрудник, кафедра компьютерных наук

Республика Казахстан, г. Алматы, 050040, проспект Аль-Фараби, 71



Д. Марламбеков
Казахский национальный университет имени аль-Фараби
Казахстан

Думан Марламбеков – докторант, младший научный сотрудник, кафедра компьютерных наук

Республика Казахстан, г. Алматы, 050040, проспект Аль-Фараби, 71



А. Муханбет
Казахский национальный университет имени аль-Фараби
Казахстан

Аксултан Муханбет – Студент докторантуры, научный сотрудник, кафедра компьютерных наук

Республика Казахстан, г. Алматы, 050040, проспект Аль-Фараби, 71



Список литературы

1. Shen Z. Adaptive resource allocation in multiuser OFDM systems with proportional rate constraints / Z. Shen, J.G. Andrews, B.L. Evans // IEEE Transactions on Wireless Communications. – 2005. – Vol. 4, № 6. – P. 2726-2737. https://doi.org/10.1109/TWC.2005.858010.

2. Tse D. Fundamentals of Wireless Communication / D. Tse, P. Viswanath. – Cambridge: Cambridge University Press, 2005. – 564 p. https://doi.org/10.1017/CBO9780511807213.

3. Tombaz S. Energy- and cost-efficient ultra-high-capacity wireless access / S. Tombaz, A. Västberg, J. Zander // IEEE Wireless Communications. – 2011. – Vol. 18, № 5. – P. 18-24. https://doi.org/10.1109/MWC.2011.6056688.

4. Zander J. Performance of optimum transmitter power control in cellular radio systems / J. Zander // IEEE Transactions on Vehicular Technology. – 1992. – Vol. 41, № 1. – P. 57-62. https://doi.org/10.1109/25.120145.

5. 3GPP TS 38.213. NR; Physical layer procedures for control. Version 17.4.0 [Electronic resource]. – 3rd Generation Partnership Project, 2022. https://www.3gpp.org/dynareport/38213.htm.

6. Holtkamp H. Minimizing base station power consumption / H. Holtkamp, G. Auer, S. Bazzi, H. Haas // IEEE Journal on Selected Areas in Communications. – 2014. – Vol. 32, № 2. – P. 297-306. https://doi.org/10.1109/JSAC.2013.131009.

7. Applications of deep reinforcement learning in communications and networking: A survey / N.C. Luong et al // IEEE Communications Surveys & Tutorials. – 2019. – Vol. 21, № 4. – P. 3133-3174. https://doi.org/10.1109/COMST.2019.2916583.

8. Application of machine learning in wireless networks: Key techniques and open issues / Y. Sun et al // IEEE Communications Surveys & Tutorials. – 2019. – Vol. 21, № 4. – P. 3072-3108. https://doi.org/10.1109/COMST.2019.2924243.

9. Haarnoja T. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor / T. Haarnoja, A. Zhou, P. Abbeel, S. Levine // Proceedings of the 35th International Conference on Machine Learning (ICML 2018). – 2018. – Vol. 80. – P. 1861-1870. https://proceedings.mlr.press/v80/haarnoja18b.html.

10. Cui W. Spatial deep learning for wireless scheduling / W. Cui, K. Shen, W. Yu // IEEE Journal on Selected Areas in Communications. – 2019. – Vol. 37, № 6. – P. 1248-1261. https://doi.org/10.1109/JSAC.2019.2904352.

11. Deep reinforcement learning for radio resource allocation and management in next generation heterogeneous wireless networks: A survey / A. Alwarafy et al // IEEE Open Journal of the Communications Society. – 2022. – Vol. 3. – P. 1967-1986. https://doi.org/10.1109/OJCOMS.2022.3153226.

12. 3GPP TR 38.901. Study on channel model for frequencies from 0.5 to 100 GHz. Version 17.0.0 [Electronic resource]. – 3rd Generation Partnership Project, 2022. https://www.3gpp.org/dynareport/38901.htm.

13. Naparstek O. Deep multi-user reinforcement learning for distributed dynamic spectrum access / O. Naparstek, K. Cohen // IEEE Transactions on Wireless Communications. – 2019. – Vol. 18, № 1. – P. 310-323. https://doi.org/10.1109/TWC.2018.2878578.

14. Ye H. Deep reinforcement learning based resource allocation for V2V communications / H. Ye, G.Y. Li, B.-H.F. Juang // IEEE Transactions on Vehicular Technology. – 2019. – Vol. 68, № 4. – P. 3163-3173. https://doi.org/10.1109/TVT.2019.2897134.

15. Jain R. A quantitative measure of fairness and discrimination for resource allocation in shared computer systems / R. Jain, D.-M. Chiu, W.R. Hawe. – Hudson: Digital Equipment Corporation, 1984. – 38 p. – (DEC Research Report TR-301). https://arxiv.org/abs/cs/9809099.

16. Stable-Baselines3: Reliable reinforcement learning implementations / A. Raffin et al // Journal of Machine Learning Research. – 2021. – Vol. 22, № 268. – P. 1-8. https://jmlr.org/papers/v22/20-1364.html.

17. Sutton R.S. Reinforcement Learning: An Introduction / R.S. Sutton, A.G. Barto. – 2nd ed. – Cambridge, MA: MIT Press, 2018. – 552 p. http://incompleteideas.net/book/the-book-2nd.html.

18. Human-level control through deep reinforcement learning / V. Mnih et al // Nature. – 2015. – Vol. 518, № 7540. – P. 529-533. https://doi.org/10.1038/nature14236.

19. Proximal policy optimization algorithms / J. Schulman et al // arXiv. – 2017. – arXiv:1707.06347. https://doi.org/10.48550/arXiv.1707.06347.

20. Machine learning paradigms for next-generation wireless networks / C. Jiang et al // IEEE Wireless Communications. – 2017. – Vol. 24, № 2. – P. 98-105. https://doi.org/10.1109/MWC.2016.1500356WC.

21. Eskandari M. Network slicing in O-RAN-enabled cell-free massive MIMO: A DRL-based power control / M. Eskandari, M. Rahmani Ghourtani, A.G. Burr // Proceedings of the 2025 IEEE Wireless Communications and Networking Conference (WCNC). – Milan: IEEE, 2025. https://doi.org/10.1109/WCNC61545.2025.10978801.

22. Anbazhagan S. Adaptive power-saving mode control in NB-IoT networks using soft actor-critic reinforcement learning for optimal power management / S. Anbazhagan, R.K. Mugelan // Scientific Reports. – 2025. – Vol. 15, Art. 34618. https://doi.org/10.1038/s41598-025-18214-4.

23. Base station power control strategy in ultra-dense networks via deep reinforcement learning / Q. Chen et al // Physical Communication. – 2025. – Vol. 71, Art. 102655. https://doi.org/10.1016/j.phycom.2025.102655.


Рецензия

Для цитирования:


Айбагаров С., Марламбеков Д., Муханбет А. УПРАВЛЕНИЕ МОЩНОСТЬЮ ВОСХОДЯЩЕГО КАНАЛА НА ОСНОВЕ SAC В 5G NR: ГЛУБОКОЕ ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ ДЛЯ СОВМЕСТНОЙ ОПТИМИЗАЦИИ ПРОПУСКНОЙ СПОСОБНОСТИ И ЭНЕРГОЭФФЕКТИВНОСТИ. Вестник Университета Шакарима. Серия технические науки. 2026;(3(23)):331-342. https://doi.org/10.53360/2788-7995-2026-3(23)-31

For citation:


Aibagarov S., Marlambekov D., Mukhanbet A. SAC-BASED UPLINK POWER CONTROL IN 5G NR: DEEP REINFORCEMENT LEARNING FOR JOINT THROUGHPUT AND ENERGY EFFICIENCY OPTIMIZATION. Bulletin of Shakarim University. Technical Sciences. 2026;(3(23)):331-342. https://doi.org/10.53360/2788-7995-2026-3(23)-31

Просмотров: 15

JATS XML


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2788-7995 (Print)
ISSN 3006-0524 (Online)
X