УНИВЕРСАЛЬНЫЙ ТРАНСФОРМЕРНЫЙ ФРЕЙМВОРК ДЛЯ АНАЛИЗА И ГЕНЕРАЦИИ ТЕКСТА

В статье предложен универсальный мультимодальный фреймворк для решения трёх задач обработки естественного языка: распознавания сарказма, сентиментноориентированной генерации описаний изображений и контекстного нейросетевого машинного перевода с использованием механизма reranking. Архитектура включает специализированные энкодеры (BERT, RoBERTa, ViT), кросс-модальные механизмы внимания и контрастивное обучение, что обеспечивает адаптацию к различным типам входных данных и семантических задач. Эксперименты продемонстрировали улучшение метрик BLEU, METEOR, F1 и NER по сравнению с базовыми моделями. Отдельное внимание уделено устойчивости модели при работе с редкими словами и именованными сущностями. Полученные результаты подтверждают эффективность предложенного подхода в условиях ограниченных данных и мультимодальной сложности. В условиях стремительного роста мультимедийного контента и экспрессии пользователей в социальных сетях, мультимодальные модели – объединяющие текст, визуальные и стилистические признаки – становятся ключевым направлением в развитии когнитивных ИИ-систем. В частности, трансформерные архитектуры открывают новые горизонты в интеграции многоканальной информации, позволяя учитывать не только прямой смысл текста, но и эмоциональный подтекст, визуальный контекст и стилистические особенности подачи. Современные интеллектуальные системы обработки языка всё чаще сталкиваются с необходимостью учитывать не только семантический и синтаксический контекст, но и эмоциональную окраску высказываний. Традиционные NLP-модели, ориентированные на буквальное понимание текста, демонстрируют ограниченную эффективность в задачах, где ключевым фактором становится скрытый смысл – как, например, в распознавании сарказма, генерации описаний изображений с учётом настроения, или переводе эмоционально окрашенных конструкций между языками.

1. A Contrastive Multimodal Representation Learning for Sarcasm / Alanoud Al Mazroa et al // Expert Systems With Applications. – 2025. – Vol. 298.

2. Optimizing Sentiment Integration in Image Captioning Using Transformer-Based Fusion Strategies / Komal Rani Narejo et al // Computers, Materials & Continua. – 2025. – Vol. 84, №2. https://doi.org/10.32604/cmc.2025.065872.

3. Transformer-Based Re-Ranking Model for Enhancing Contextual and Syntactic Translation in Low-Resource Neural Machine Translation / A. Javed et al // Electronics. – 2025. – № 14(2). – Р. 243. https://doi.org/10.3390/electronics14020243.

4. Zhang X. Multimodal sarcasm detection in Twitter with hierarchical fusion model / X. Zhang, H. Wang // Proceedings of the 58th ACL. – 2020. – Р. 2500-2505. https://doi.org/10.18653/v1/2020.aclmain.227.

5. Attention is all you need / А. Vaswani et al // Advances in Neural Information Processing Systems. – 2017. – Vol. 30. – Р. 5998-6008. https://doi.org/10.48550/arXiv.1706.03762.

6. Tan H. LXMERT: Learning cross-modality encoder representations from transformers / H. Tan, M. Bansal // EMNLP. – 2019. – Р. 5103-5114. https://doi.org/10.18653/v1/D19-1514.

7. Understanding back-translation at scale / S. Edunov et al // EMNLP. – 2018. – Р. 489-500. https://doi.org/10.18653/v1/D18-1150.

8. Hossain M.Z. Multimodal machine learning for emotion recognition: A review / M.Z. Hossain, G. Muhammad, M. Alsulaiman // Information Fusion. – 2021. – vol. 68. – Р. 21-39. https://doi.org/10.1016/j.inffus.2020.10.008.

9. Dabre R. Enabling multilingual neural machine translation with knowledge distillation / R. Dabre, C. Chu, S. Kurohashi // ACL. – 2017. – Р. 2662-2673. https://doi.org/10.18653/v1/P17-1243.

10. Wang R. Sentiment-aware image captioning with context disentangling / R. Wang, X. Wan, W. Li // CVPR. – 2021. – Р. 17586-17595. https://doi.org/10.1109/CVPR46437.2021.01732.

11. UNITER: Learning universal image-text representations / Y.-C. Chen et al // ECCV. – 2020. – Р. 104-120. https://doi.org/10.1007/978-3-030-58523-5_43.

12. BERT: Pre-training of deep bidirectional transformers for language understanding / J. Devlin et al // NAACL-HLT. – 2019. – Р. 4171-4186. https://doi.org/10.18653/v1/N19-1423.