МӘТІНДІ ТАЛДАУҒА ЖӘНЕ ГЕНЕРАЦИЯЛАУҒА АРНАЛҒАН ӘМБЕБАП ТРАНСФОРМАТОРЛЫҚ ҚҰРЫЛЫМ

Мақалада табиғи тілді өңдеудің үш мәселесін шешуге арналған әмбебап мультимодальды құрылым ұсынылған: сарказмды тану, кескін сипаттамаларын сентиментке бағытталған генерациялау және reranking механизмін қолдана отырып контексттік нейрондық машиналық аударма. Архитектураға мамандандырылған кодерлер (BERT, RoBERTa, ViT), кросс-модальды зейін механизмдері және контрастты оқыту кіреді, бұл кірістер мен семантикалық есептердің әртүрлі түрлеріне бейімделуді қамтамасыз етеді. Тәжірибелер BLEU, METEOR, F1 және NER көрсеткіштерінің негізгі модельдермен салыстырғанда жақсарғанын көрсетті. Сирек сөздермен және аталған нысандармен жұмыс істеу кезінде модельдің тұрақтылығына ерекше назар аударылады. Нәтижелер шектеулі деректер мен мультимодальды күрделілік жағдайында ұсынылған тәсілдің тиімділігін растайды. Мультимедиялық мазмұнның қарқынды өсуі және әлеуметтік желілердегі пайдаланушылардың экспрессиясы жағдайында мәтінді, визуалды және стилистикалық белгілерді біріктіретін мультимодальды модельдер когнитивті AI жүйелерін дамытудың негізгі бағытына айналады. Атап айтқанда, трансформаторлық архитектуралар көп арналы ақпаратты біріктіруде жаңа көкжиектерді ашады, бұл мәтіннің тікелей мағынасын ғана емес, сонымен қатар эмоционалды субтекстті, визуалды контекстті және жеткізудің стилистикалық ерекшеліктерін ескеруге мүмкіндік береді.

1. A Contrastive Multimodal Representation Learning for Sarcasm / Alanoud Al Mazroa et al // Expert Systems With Applications. – 2025. – Vol. 298.

2. Optimizing Sentiment Integration in Image Captioning Using Transformer-Based Fusion Strategies / Komal Rani Narejo et al // Computers, Materials & Continua. – 2025. – Vol. 84, №2. https://doi.org/10.32604/cmc.2025.065872.

3. Transformer-Based Re-Ranking Model for Enhancing Contextual and Syntactic Translation in Low-Resource Neural Machine Translation / A. Javed et al // Electronics. – 2025. – № 14(2). – Р. 243. https://doi.org/10.3390/electronics14020243.

4. Zhang X. Multimodal sarcasm detection in Twitter with hierarchical fusion model / X. Zhang, H. Wang // Proceedings of the 58th ACL. – 2020. – Р. 2500-2505. https://doi.org/10.18653/v1/2020.aclmain.227.

5. Attention is all you need / А. Vaswani et al // Advances in Neural Information Processing Systems. – 2017. – Vol. 30. – Р. 5998-6008. https://doi.org/10.48550/arXiv.1706.03762.

6. Tan H. LXMERT: Learning cross-modality encoder representations from transformers / H. Tan, M. Bansal // EMNLP. – 2019. – Р. 5103-5114. https://doi.org/10.18653/v1/D19-1514.

7. Understanding back-translation at scale / S. Edunov et al // EMNLP. – 2018. – Р. 489-500. https://doi.org/10.18653/v1/D18-1150.

8. Hossain M.Z. Multimodal machine learning for emotion recognition: A review / M.Z. Hossain, G. Muhammad, M. Alsulaiman // Information Fusion. – 2021. – vol. 68. – Р. 21-39. https://doi.org/10.1016/j.inffus.2020.10.008.

9. Dabre R. Enabling multilingual neural machine translation with knowledge distillation / R. Dabre, C. Chu, S. Kurohashi // ACL. – 2017. – Р. 2662-2673. https://doi.org/10.18653/v1/P17-1243.

10. Wang R. Sentiment-aware image captioning with context disentangling / R. Wang, X. Wan, W. Li // CVPR. – 2021. – Р. 17586-17595. https://doi.org/10.1109/CVPR46437.2021.01732.

11. UNITER: Learning universal image-text representations / Y.-C. Chen et al // ECCV. – 2020. – Р. 104-120. https://doi.org/10.1007/978-3-030-58523-5_43.

12. BERT: Pre-training of deep bidirectional transformers for language understanding / J. Devlin et al // NAACL-HLT. – 2019. – Р. 4171-4186. https://doi.org/10.18653/v1/N19-1423.