中文标题：带全局噪声增强的多模态超图学习引导用于模态信息缺失情感分析

英文标题：Multimodal Hypergraph Learning Guidance with Global Noise Enhancement for Sentiment Analysis under Missing Modality Information

来源期刊：电子与信息学报

基金项目：武汉市知识创新专项项目(202311901251001)，湖北省科技计划重大科技专项(2024BAA008)，深圳市科技攻关重点项目(2020N061)

作  者：黄辰^{1, 2, 3} 刘会杰¹ 张龑^{1, 2, 3} 杨超^{1, 2, 3} 宋建华^{1, 2, 3}

作者单位：1. 湖北大学计算机学院 武汉 430062
2. 智能感知系统与安全教育部重点实验室 武汉 430062
3. 大数据智能分析与行业应用湖北省重点实验室(湖北大学) 武汉 430062

摘  要：多模态情感分析(MSA)通过多种模态信息来全面揭示人类情感状态。现有MSA研究在面临现实世界中的复杂场景时，仍然面临两方面的关键挑战:(1)忽略了现实世界复杂场景下的模态信息缺失，以及模型鲁棒性问题。(2)缺乏模态间丰富的高阶语义关联学习和跨模态信息传递机制。为了克服这些问题，该文提出一种带全局噪声增强的多模态超图学习引导情感分析方法(MHLGNE)，旨在增强现实世界复杂场景中模态信息缺失条件下的多模态情感分析性能。具体而言，MHLGNE通过专门设计的自适应全局噪声采样模块从全局视角补充缺失的模态信息，从而增强模型的鲁棒性，并提高泛化能力。此外，还提出一个多模态超图学习引导模块来学习模态间丰富的高阶语义关联并引导跨模态信息传递。在公共数据集上的大量实验评估表明，MHLGNE在克服这些挑战方面表现优异。

全文链接： https://jeit.ac.cn/cn/article/doi/10.11999/JEIT250649