中文标题：结合预训练模型的双向门控图卷积对抗词义消歧

英文标题：Combine the Pre-trained Model with Bidirectional Gated Recurrent Units and Graph Convolutional Network for Adversarial Word Sense Disambiguation

来源期刊：电子与信息学报

基金项目：国家自然科学基金(61502124, 60903082)，中国博士后科学基金(2014M560249)，黑龙江省自然科学基金(LH2022F031, LH2022F030, F2015041, F201420)

作  者：张春祥 孙颖 高可心 高雪瑶

作者单位：哈尔滨理工大学计算机科学与技术学院 哈尔滨 150080

摘  要：词义消歧(WSD)是提升计算机自然语言理解能力的关键技术，广泛应用于机器翻译、信息检索等领域。为解决现有模型在泛化与鲁棒性方面的不足，该文提出了一种基于预训练模型的双向门控循环单元(BiGRU)、交叉注意力(CA)和图卷积网络(GCN)融合的词义消歧模型，引入对抗训练(AT)来优化该模型。将歧义词左右词汇的词形、词性和语义类作为消歧特征，输入LERT获取动态词向量，利用交叉注意力融合Bi-GRU神经网络提取token序列的全局语义信息和CLS序列的局部语义信息，为消歧特征图生成更加完整的句子结点表示。将消歧特征图输入图卷积来更新结点之间的特征信息，然后利用插值预测层和语义分类层来确定歧义词的真实语义类别。计算输入动态词向量的梯度，生成细微的连续扰动，并将扰动加入到原始词向量矩阵中，生成对抗样本。利用对抗样本，融合网络的损失与对抗训练中的损失来优化消歧模型。实验结果表明，该方法不仅能够增强消歧模型处理复杂词汇歧义问题的能力，还能有效提高其鲁棒性和泛化能力，从而表现出更好的消歧性能。

全文链接： https://jeit.ac.cn/cn/article/doi/10.11999/JEIT250386