В статье предложен универсальный мультимодальный фреймворк для решения трёх задач обработки естественного языка: распознавания сарказма, сентиментноориентированной генерации описаний изображений и контекстного нейросетевого машинного перевода с использованием механизма reranking. Архитектура включает специализированные энкодеры (BERT, RoBERTa, ViT), кросс-модальные механизмы внимания и контрастивное обучение, что обеспечивает адаптацию к различным типам входных данных и семантических задач. Эксперименты продемонстрировали улучшение метрик BLEU, METEOR, F1 и NER по сравнению с базовыми моделями. Отдельное внимание уделено устойчивости модели при работе с редкими словами и именованными сущностями. Полученные результаты подтверждают эффективность предложенного подхода в условиях ограниченных данных и мультимодальной сложности. В условиях стремительного роста мультимедийного контента и экспрессии пользователей в социальных сетях, мультимодальные модели – объединяющие текст, визуальные и стилистические признаки – становятся ключевым направлением в развитии когнитивных ИИ-систем. В частности, трансформерные архитектуры открывают новые горизонты в интеграции многоканальной информации, позволяя учитывать не только прямой смысл текста, но и эмоциональный подтекст, визуальный контекст и стилистические особенности подачи. Современные интеллектуальные системы обработки языка всё чаще сталкиваются с необходимостью учитывать не только семантический и синтаксический контекст, но и эмоциональную окраску высказываний. Традиционные NLP-модели, ориентированные на буквальное понимание текста, демонстрируют ограниченную эффективность в задачах, где ключевым фактором становится скрытый смысл – как, например, в распознавании сарказма, генерации описаний изображений с учётом настроения, или переводе эмоционально окрашенных конструкций между языками.