ЖАЛҒАН ЖАҢАЛЫҚТАРДЫ АНЫҚТАУ ҮШІН МАШИНАЛЫҚ ОҚЫТУ МОДЕЛЬДЕРІН ОҢТАЙЛАНДЫРУ: ГИПЕРПАРАМЕТРЛІ ТАҢДАУ ЖӘНЕ ROC ҚИСЫҚТАРЫН ТАЛДАУ

Сандық ортада, әсіресе әлеуметтік желілерде және жаңалықтар агрегаторларында ақпараттың белсенді және бақылаусыз таралуы жағдайында жалған жаңалықтарды автоматты түрде анықтау міндеті ерекше өзекті болып келеді. Пайдаланушы жасаған мазмұн көлемінің артуы және оны таратудың жоғары жылдамдығы ақпаратты қолмен тексеруді айтарлықтай қиындатады, бұл машиналық оқыту әдістерін қолдануды қажет етеді. Бұл зерттеудің мақсаты – гиперпараметрді таңдауға, есептеу тиімділігіне және жіктеу нәтижелерін түсіндіруге назар аудара отырып, жалған жаңалықтарды анықтау үшін базалық машиналық оқыту модельдерін талдау, салыстырмалы түрде бағалау және оңтайландыру. Бұл зерттеуде TF-IDF әдісін қолдана отырып тазартылған және векторланған, «шын» және «жалған» деп белгіленген екілік белгілері бар ағылшын тіліндегі жаңалықтар элементтерін қамтитын мәтіндік деректер жиынтығы - ISOT жалған жаңалықтар деректер жиынтығы қолданылады. Зерттеуде логистикалық регрессия, шешім ағашы, кездейсоқ орман және градиент күшейту модельдері енгізіліп, талданды. Жіктеу сапасы келесі көрсеткіштерді қолдану арқылы бағаланды: Дәлдік, Дәлдік, Еске түсіру, F1-ұпай, сондай-ақ ROC талдауы және қисық астындағы аудан (AUC). Градиент күшейту моделі ең жоғары жіктеу дәлдігін қамтамасыз ететіні, ал логистикалық регрессия есептеу шығындары мен оқыту уақытын айтарлықтай төмен деңгейде салыстырмалы сапаны көрсететіні көрсетілді. Сонымен қатар, зерттеуге деректердің ағып кетуін бақылау және нәтижелердің дұрыс түсіндірілуін қамтамасыз ететін шамадан тыс сапа көрсеткіштерінің себептерін талдау кірді. Зерттеу нәтижелері оңтайландырылған классикалық машиналық оқыту модельдері жоғары сапалы жалған жаңалықтарды анықтауды қамтамасыз ете алатынын және қолданбалы киберқауіпсіздік пен ақпарат ағынын бақылауда күрделі нейрондық желілік тәсілдерге ресурстарды тиімді пайдаланатын балама ретінде қарастырылуы мүмкін екенін растайды.

1. Fake news detection on social media: a data mining perspective / K. Shu et al // ACM SIGKDD Explorations Newsletter. – 2017. – Vol. 19, № 1. – P. 22-36.

2. Zhou X. Fake news: a survey of research, detection methods, and opportunities / X. Zhou, R. Zafarani // ACM Computing Surveys. – 2020. – Vol. 53, № 5. – Article 109.

3. Ahmed H. Detection of online fake news using n-gram analysis and machine learning techniques / H. Ahmed, I. Traore, S. Saad // Proceedings of the International Conference on Intelligent, Secure, and Dependable Systems. – 2018. – P. 127-138.

4. Ruchansky N. CSI: a hybrid deep model for fake news detection / N. Ruchansky, S. Seo, Y. Liu // Proceedings of the ACM International Conference on Information and Knowledge Management (CIKM). – 2017. – P. 797-806.

5. BERT: pre-training of deep bidirectional transformers for language understanding / J. Devlin et al // Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT). – 2019. – P. 4171-4186.

6. exBAKE: automatic fake news detection model based on bidirectional encoder representations from transformers / H. Jwa et al // Applied Sciences. – 2019. – Vol. 9, № 19. – P. 1-14.

7. Kaliyar R.K. FakeBERT: fake news detection in social media with a BERT-based deep learning approach / R.K. Kaliyar, A. Goswami, P. Narang // Multimedia Tools and Applications. – 2021. – Vol. 80, № 8. – P. 11765-11788.

8. Strubell E., Ganesh A., McCallum A. Energy and policy considerations for deep learning in NLP / Strubell E., Ganesh A., McCallum A. // Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL). – 2019. – P. 3645-3650.

9. Horne B.D. This just in: fake news packs a lot in title, uses simpler, repetitive content / B.D. Horne, S. Adalı // Proceedings of the International AAAI Conference on Web and Social Media (ICWSM). – 2017. – P. 759-766.

10. FakeNewsNet: a data repository with news content, social context and dynamic information / K. Shu et al // Big Data. – 2020. – Vol. 8, № 3. – P. 171-188.