西北工业大学高捷与冯晓毅等：纹理和伪影分解，用于提高基于深度学习的深度伪造检测的泛化性
论论资讯 ｜ 2024-04-29 ｜
32热度
Engineering Applications of Artificial Intelligence
Explore content
About the journal
Publish with us
Texture and artifact decomposition for improving generalization in deep-learning-based deepfake detection
Gao J.; Micheletto M.; Orrù G.; Concas S.; Feng X.; Marcialis G.L.; Roli F.
Published：2024-07-01
DOI：10.1016/j.engappai.2024.108450
研究背景
随着深度伪造技术的不断发展，其恶意利用对公共福祉构成了重大威胁，引发了公众舆论危机。目前的检测方法主要依赖于卷积神经网络和深度学习范式，致力于在许多伪造技术中实现高领域内识别准确性。然而，忽视纹理和伪影之间错综复杂的相互作用导致在不同伪造场景下性能受损。
研究内容
本文引入了一种突破性框架，称为纹理与伪影检测器（TAD），以缓解由于纹理和伪影相互忽视而导致的有限泛化能力挑战。我们的方法深入探讨了不同伪造数据集之间的相似性，根据纹理的一致性和伪影的存在来识别合成内容。此外，我们采用模型集成学习策略，巧妙地聚合了各种伪造类型中固有的纹理差异和伪影模式，从而提高了模型的泛化能力。我们全面的实验分析包括广泛的数据集内部和跨数据集验证，以及对视频序列和单帧的评估，证实了TAD的有效性。来自四个基准数据集的结果突显了在纹理和伪影信息的协同考虑下，检测能力得到显著提升。
研究意义
这项研究的创新点在于通过综合考虑纹理和伪影信息，提高了深度伪造检测的能力。TAD框架的引入为解决当前泛化能力有限的问题带来了新的思路，为应对深度伪造技术的挑战提供了重要的技术支持，有望在保护公共利益和信息安全方面发挥积极作用。
学术热榜
查看全部
相关资讯
换一批