1. 研究背景与动机
图像恢复的挑战：现有的图像恢复方法在处理包含文字的图像时存在困难，尤其是在恢复文字区域时，常常生成错误的文字图案（称为“文字-图像幻觉”），导致文字可读性差。
文字的重要性：文字在许多应用场景中（如文档数字化、街道标志识别、增强现实导航等）具有重要的语义价值，因此恢复文字的可读性至关重要。
2. 文字感知图像恢复（TAIR）任务
任务定义：TAIR 要求在恢复图像的同时，保留文字的原始内容和可读性。
现有数据集的局限性：现有的图像恢复和文字识别数据集要么缺乏高质量图像，要么缺乏足够的文字标注，无法满足 TAIR 的需求。
3. SA-Text 数据集
数据集构建：作者提出了一个自动化数据集策划管道，从大规模图像库（如 SA-1B）中提取高质量图像，并通过视觉-语言模型（VLMs）进行文字标注，确保数据集的高质量和可扩展性。
数据集特点：SA-Text 包含 10 万张高分辨率图像，标注了丰富多样的文字实例，涵盖了不同的字体、大小、方向和复杂背景。
4. TeReDiff 模型
多任务扩散框架：TeReDiff 结合了基于扩散的图像恢复模型和文字识别模块。通过将扩散模型的内部特征整合到文字识别模块中，模型能够同时学习视觉内容和文字语义。
文字提示机制：在推理阶段，文字识别模块的输出被用作提示，引导扩散模型更准确地恢复文字区域。
训练与优化：模型通过多阶段训练，逐步优化图像恢复和文字识别的性能。
5. 实验与评估
定量评估：在 SA-Text 数据集上，TeReDiff 在文字识别的准确率上显著优于现有的图像恢复方法，即使在严重的退化情况下也能保持较高的文字可读性。
定性评估：通过视觉对比，TeReDiff 在恢复文字区域时表现出更高的清晰度和准确性，避免了文字图像幻觉。
用户研究：用户研究结果表明，TeReDiff 在文字恢复和整体图像质量方面均优于基线方法。
6. 结论与未来工作
主要贡献：文章提出了一个新的图像恢复任务（TAIR），构建了一个高质量的数据集（SA-Text），并设计了一个有效的多任务扩散模型（TeReDiff），在文字恢复和图像质量方面均取得了显著的提升。#学术 #论文 #计算机视觉 #算法 #人机交互 #图像传感器 #多模态人工智能 #科技前沿与未来 #工业数字化 #TGA2025
图像恢复的挑战：现有的图像恢复方法在处理包含文字的图像时存在困难，尤其是在恢复文字区域时，常常生成错误的文字图案（称为“文字-图像幻觉”），导致文字可读性差。
文字的重要性：文字在许多应用场景中（如文档数字化、街道标志识别、增强现实导航等）具有重要的语义价值，因此恢复文字的可读性至关重要。
2. 文字感知图像恢复（TAIR）任务
任务定义：TAIR 要求在恢复图像的同时，保留文字的原始内容和可读性。
现有数据集的局限性：现有的图像恢复和文字识别数据集要么缺乏高质量图像，要么缺乏足够的文字标注，无法满足 TAIR 的需求。
3. SA-Text 数据集
数据集构建：作者提出了一个自动化数据集策划管道，从大规模图像库（如 SA-1B）中提取高质量图像，并通过视觉-语言模型（VLMs）进行文字标注，确保数据集的高质量和可扩展性。
数据集特点：SA-Text 包含 10 万张高分辨率图像，标注了丰富多样的文字实例，涵盖了不同的字体、大小、方向和复杂背景。
4. TeReDiff 模型
多任务扩散框架：TeReDiff 结合了基于扩散的图像恢复模型和文字识别模块。通过将扩散模型的内部特征整合到文字识别模块中，模型能够同时学习视觉内容和文字语义。
文字提示机制：在推理阶段，文字识别模块的输出被用作提示，引导扩散模型更准确地恢复文字区域。
训练与优化：模型通过多阶段训练，逐步优化图像恢复和文字识别的性能。
5. 实验与评估
定量评估：在 SA-Text 数据集上，TeReDiff 在文字识别的准确率上显著优于现有的图像恢复方法，即使在严重的退化情况下也能保持较高的文字可读性。
定性评估：通过视觉对比，TeReDiff 在恢复文字区域时表现出更高的清晰度和准确性，避免了文字图像幻觉。
用户研究：用户研究结果表明，TeReDiff 在文字恢复和整体图像质量方面均优于基线方法。
6. 结论与未来工作
主要贡献：文章提出了一个新的图像恢复任务（TAIR），构建了一个高质量的数据集（SA-Text），并设计了一个有效的多任务扩散模型（TeReDiff），在文字恢复和图像质量方面均取得了显著的提升。#学术 #论文 #计算机视觉 #算法 #人机交互 #图像传感器 #多模态人工智能 #科技前沿与未来 #工业数字化 #TGA2025
