SAC НЕГІЗІНДЕГІ 5G NR ЖЕЛІЛЕРІНДЕГІ КӨТЕРІЛМЕЛІ (UPLINK) ҚУАТТЫ БАСҚАРУ: ӨТКІЗУ ҚАБІЛЕТІ МЕН ЭНЕРГИЯ ТИІМДІЛІГІН БІРЛЕСІП ОҢТАЙЛАНДЫРУҒА АРНАЛҒАН ТЕРЕҢ КҮШЕЙТІЛГЕН ОҚЫТУ
https://doi.org/10.53360/2788-7995-2026-3(23)-31
Аңдатпа
Бұл мақалада 5G NR желілеріндегі uplink тарату қуатын басқару үшін Soft Actor-Critic (SAC) әдісі зерттеледі. 3GPP TR 38.901 UMa NLOS моделіне негізделген 10 пайдаланушыға арналған Gymnasium-үйлесімді симулятор жасалды. SAC агенті [0, 30] дБм аралығындағы он пайдаланушының тарату қуатын бірлесіп басқарады. Үш тәуелсіз SAC саясаты 100 ортақ сценарийде бағаланып, Full Power, Equal Power және жеңілдетілген 3GPP-inspired Fractional Power Control әдістерімен салыстырылды. Стандартты желілік энергия тиімділігі метрикасы бойынша SAC 14,866 Мбит/с/Дж нәтижесіне, 9,905 дБм орташа қуатқа және 2,540 Мбит/с өткізу қабілетіне қол жеткізді. SAC энергия тиімділігі Full Power және жеңілдетілген FPC әдістерінен статистикалық тұрғыдан жоғары, ал Equal Power әдісімен айырмашылық көптік салыстыру түзетуінен кейін статистикалық мәнді емес. Марапат салмақтарының сезімталдық талдауы мақсат басымдықтары өзгерген кезде өткізу қабілеті мен энергия тиімділігі арасындағы жұмыс нүктесі өзгеретінін және барлық метрикалар бойынша бір ғана үстем конфигурация жоқ екенін көрсетеді.
Авторлар туралы
С. АйбагаровҚазақстан
Серик Айбагаров – Бакалавр студенті, кіші ғылыми қызметкер, Компьютерлік ғылымдар кафедрасы
Қазақстан Республикасы, Алматы, 050040, Әл-Фараби даңғылы, 71
Д. Марламбеков
Қазақстан
Думан Марламбеков – Докторантура студенті, кіші ғылыми қызметкер, Компьютерлік ғылымдар кафедрасы
Қазақстан Республикасы, Алматы, 050040, Әл-Фараби даңғылы, 71
А. Муханбет
Қазақстан
Ақсұлтан Муханбет – Докторантура студенті, ғылыми қызметкер, Компьютерлік ғылымдар кафедрасы
Қазақстан Республикасы, Алматы, 050040, Әл-Фараби даңғылы, 71
Әдебиет тізімі
1. Shen Z. Adaptive resource allocation in multiuser OFDM systems with proportional rate constraints / Z. Shen, J.G. Andrews, B.L. Evans // IEEE Transactions on Wireless Communications. – 2005. – Vol. 4, № 6. – P. 2726-2737. https://doi.org/10.1109/TWC.2005.858010.
2. Tse D. Fundamentals of Wireless Communication / D. Tse, P. Viswanath. – Cambridge: Cambridge University Press, 2005. – 564 p. https://doi.org/10.1017/CBO9780511807213.
3. Tombaz S. Energy- and cost-efficient ultra-high-capacity wireless access / S. Tombaz, A. Västberg, J. Zander // IEEE Wireless Communications. – 2011. – Vol. 18, № 5. – P. 18-24. https://doi.org/10.1109/MWC.2011.6056688.
4. Zander J. Performance of optimum transmitter power control in cellular radio systems / J. Zander // IEEE Transactions on Vehicular Technology. – 1992. – Vol. 41, № 1. – P. 57-62. https://doi.org/10.1109/25.120145.
5. 3GPP TS 38.213. NR; Physical layer procedures for control. Version 17.4.0 [Electronic resource]. – 3rd Generation Partnership Project, 2022. https://www.3gpp.org/dynareport/38213.htm.
6. Holtkamp H. Minimizing base station power consumption / H. Holtkamp, G. Auer, S. Bazzi, H. Haas // IEEE Journal on Selected Areas in Communications. – 2014. – Vol. 32, № 2. – P. 297-306. https://doi.org/10.1109/JSAC.2013.131009.
7. Applications of deep reinforcement learning in communications and networking: A survey / N.C. Luong et al // IEEE Communications Surveys & Tutorials. – 2019. – Vol. 21, № 4. – P. 3133-3174. https://doi.org/10.1109/COMST.2019.2916583.
8. Application of machine learning in wireless networks: Key techniques and open issues / Y. Sun et al // IEEE Communications Surveys & Tutorials. – 2019. – Vol. 21, № 4. – P. 3072-3108. https://doi.org/10.1109/COMST.2019.2924243.
9. Haarnoja T. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor / T. Haarnoja, A. Zhou, P. Abbeel, S. Levine // Proceedings of the 35th International Conference on Machine Learning (ICML 2018). – 2018. – Vol. 80. – P. 1861-1870. https://proceedings.mlr.press/v80/haarnoja18b.html.
10. Cui W. Spatial deep learning for wireless scheduling / W. Cui, K. Shen, W. Yu // IEEE Journal on Selected Areas in Communications. – 2019. – Vol. 37, № 6. – P. 1248-1261. https://doi.org/10.1109/JSAC.2019.2904352.
11. Deep reinforcement learning for radio resource allocation and management in next generation heterogeneous wireless networks: A survey / A. Alwarafy et al // IEEE Open Journal of the Communications Society. – 2022. – Vol. 3. – P. 1967-1986. https://doi.org/10.1109/OJCOMS.2022.3153226.
12. 3GPP TR 38.901. Study on channel model for frequencies from 0.5 to 100 GHz. Version 17.0.0 [Electronic resource]. – 3rd Generation Partnership Project, 2022. https://www.3gpp.org/dynareport/38901.htm.
13. Naparstek O. Deep multi-user reinforcement learning for distributed dynamic spectrum access / O. Naparstek, K. Cohen // IEEE Transactions on Wireless Communications. – 2019. – Vol. 18, № 1. – P. 310-323. https://doi.org/10.1109/TWC.2018.2878578.
14. Ye H. Deep reinforcement learning based resource allocation for V2V communications / H. Ye, G.Y. Li, B.-H.F. Juang // IEEE Transactions on Vehicular Technology. – 2019. – Vol. 68, № 4. – P. 3163-3173. https://doi.org/10.1109/TVT.2019.2897134.
15. Jain R. A quantitative measure of fairness and discrimination for resource allocation in shared computer systems / R. Jain, D.-M. Chiu, W.R. Hawe. – Hudson: Digital Equipment Corporation, 1984. – 38 p. – (DEC Research Report TR-301). https://arxiv.org/abs/cs/9809099.
16. Stable-Baselines3: Reliable reinforcement learning implementations / A. Raffin et al // Journal of Machine Learning Research. – 2021. – Vol. 22, № 268. – P. 1-8. https://jmlr.org/papers/v22/20-1364.html.
17. Sutton R.S. Reinforcement Learning: An Introduction / R.S. Sutton, A.G. Barto. – 2nd ed. – Cambridge, MA: MIT Press, 2018. – 552 p. http://incompleteideas.net/book/the-book-2nd.html.
18. Human-level control through deep reinforcement learning / V. Mnih et al // Nature. – 2015. – Vol. 518, № 7540. – P. 529-533. https://doi.org/10.1038/nature14236.
19. Proximal policy optimization algorithms / J. Schulman et al // arXiv. – 2017. – arXiv:1707.06347. https://doi.org/10.48550/arXiv.1707.06347.
20. Machine learning paradigms for next-generation wireless networks / C. Jiang et al // IEEE Wireless Communications. – 2017. – Vol. 24, № 2. – P. 98-105. https://doi.org/10.1109/MWC.2016.1500356WC.
21. Eskandari M. Network slicing in O-RAN-enabled cell-free massive MIMO: A DRL-based power control / M. Eskandari, M. Rahmani Ghourtani, A.G. Burr // Proceedings of the 2025 IEEE Wireless Communications and Networking Conference (WCNC). – Milan: IEEE, 2025. https://doi.org/10.1109/WCNC61545.2025.10978801.
22. Anbazhagan S. Adaptive power-saving mode control in NB-IoT networks using soft actor-critic reinforcement learning for optimal power management / S. Anbazhagan, R.K. Mugelan // Scientific Reports. – 2025. – Vol. 15, Art. 34618. https://doi.org/10.1038/s41598-025-18214-4.
23. Base station power control strategy in ultra-dense networks via deep reinforcement learning / Q. Chen et al // Physical Communication. – 2025. – Vol. 71, Art. 102655. https://doi.org/10.1016/j.phycom.2025.102655.
Рецензия
Дәйектеу үшін:
Айбагаров С., Марламбеков Д., Муханбет А. SAC НЕГІЗІНДЕГІ 5G NR ЖЕЛІЛЕРІНДЕГІ КӨТЕРІЛМЕЛІ (UPLINK) ҚУАТТЫ БАСҚАРУ: ӨТКІЗУ ҚАБІЛЕТІ МЕН ЭНЕРГИЯ ТИІМДІЛІГІН БІРЛЕСІП ОҢТАЙЛАНДЫРУҒА АРНАЛҒАН ТЕРЕҢ КҮШЕЙТІЛГЕН ОҚЫТУ. Шәкәрім Университетінің Хабаршысы. Техникалық ғылымдар сериясы. 2026;(3(23)):331-342. https://doi.org/10.53360/2788-7995-2026-3(23)-31
For citation:
Aibagarov S., Marlambekov D., Mukhanbet A. SAC-BASED UPLINK POWER CONTROL IN 5G NR: DEEP REINFORCEMENT LEARNING FOR JOINT THROUGHPUT AND ENERGY EFFICIENCY OPTIMIZATION. Bulletin of Shakarim University. Technical Sciences. 2026;(3(23)):331-342. https://doi.org/10.53360/2788-7995-2026-3(23)-31
JATS XML















