中文标题：基于 Mamba 上下文感知细粒度融合的多模态情感识别

英文标题：Context-Aware Fine-Grained Multimodal Emotion Recognition based on Mamba

来源期刊：电子与信息学报

基金项目：江苏省科技重大专项(BG2024027)，国家自然科学基金(61901227)

作  者：孙林慧 成乐洋 杨欣悦 陈帅潼 李平安 邵曦

作者单位：南京邮电大学通信与信息工程学院 南京 210003

摘  要：当前多模态情感识别方法大多在多模态交互过程中未能充分利用上下文信息，导致对细粒度情感差异的识别不够精准，从而影响了模型在复杂情感分析任务中的表现。为此，该文提出了基于Mamba上下文感知细粒度融合的多模态情感识别方法(Context-Aware Fine-Grained Multimodal Emotion Recognition based on Mamba, CA-FGMER-Mamba)，该方法通过上下文建模、模态内细粒度筛选和模态间细粒度融合获取高区分度情感分类特征，实现了高质量的情感分类。首先，采用RoBERTa预训练模型对文本模态进行深度编码，采用OpenSMILE工具包提取音频特征并进行特征降维；其次，利用Bi-GRU上下文感知模块有效整合语音和文本模态的时序上下文信息。接着，引入Mamba状态空间模块重新校准语音和文本特征，动态调整不同时间步的特征权重，以突出情感表达的关键信息。在特征融合阶段，设计了细粒度融合策略，通过自注意力机制、高阶外积融合和跨模态交互调制，精细建模模态内与模态间的协同关系。最终，将融合后的特征通过分类网络进行情感预测。在IEMOCAP数据集和MELD数据集上的实验结果表明，CA-FGMER-Mamba方法在情感识别性能方面取得了显著提升，具有优秀的泛化能力和有效性。

全文链接： https://jeit.ac.cn/cn/article/doi/10.11999/JEIT251307