多元软混合样本驱动的图文对齐人脸伪造检测方法
DOI：
CSTR：
文献基本信息
中文标题：多元软混合样本驱动的图文对齐人脸伪造检测方法
英文标题：Multivariate and Soft Blending Samples Driven Image-Text Alignment for Deepfake Detection
来源期刊：中国图象图形学报
基金项目：
作 者：王诗雨, 冯才博, 刘春晓, 金逸胜
作者单位：浙江工商大学
摘 要：目的 随着人脸图像合成技术的快速发展，基于深度学习的人脸伪造技术对社会信息安全的负面影响日益增长。然而，由于不同伪造方法生成的样本之间的数据分布存在较大差异，现有人脸伪造方法准确性不高，泛化性较差。为了解决上述问题，提出一种多元软混合样本驱动的图文对齐人脸伪造检测新方法，充分利用图像与文本的多模态信息对齐，捕捉微弱的人脸伪造痕迹。方法 考虑到传统人脸伪造检测方法仅在单一模式的伪造图像上训练，难以应对复杂伪造模式，本文提出了一种多元软混合的数据增广方式（multivariate and soft blending augmentation，MSBA），促进网络同时捕捉多种伪造模式线索的能力，增强了网络模型对复杂和未知的伪造模式的检测能力。由于不同人脸伪造图像的伪造模式与伪造力度多种多样，导致网络模型真伪检测性能下降。本文基于MSBA方式设计了多元伪造力度估计模块（multivariate forgery intensity estimation，MFIE），有效针对不同模式和力度的人脸伪造图像进行学习，引导图像编码器提取更加具有泛化性的特征，提高了整体网络框架的检测准确性。结果 在域内实验中，与已有性能最好方法相比，本文方法的准确率（Accuracy，ACC）与area under the curve（AUC）指标分别提升3.32%和4.08%。在跨域实验中，本文方法与已有的6种典型方法在5个数据集上进行了性能测试与比较，平均AUC指标提高3.27%。消融实验结果表明本文提出的MSBA方式和MFIE模块对于人脸伪造检测性能的提升均有较好的表现。结论 本文面向人脸伪造检测任务设计的CLIP网络框架大大提高了人脸伪造检测的准确性，提出的MSBA方式和MFIE模块均起到了较好的助力效果，取得了超越已有方法的性能表现。
相关论文
相关专家