特斯联公布研发新突破：可实现快速图像复原和增强

　　图像复原旨在恢复丢失的高质量图像内容，在计算摄影、自动驾驶和遥感等诸多应用领域有着广泛的应用价值。近年来，受卷积神经网络主导，图像复原领域取得了重大进展。 然而，广泛使用的基于卷积神经网络的方法面临着上下文信息不能被精确编码抑或是空间上不够精确的问题。

　　近日，特斯联首席科学家邵岭博士及其团队提出了一种全新架构予以解决。相关研究成果（题为：Learning Enriched Features for Fast Image Restoration and Enhancement）已被IEEE T-PAMI收录。

　　在图像采集时，由于相机的物理限制或复杂的照明条件，经常会造成不同严重程度的图像退化。举例来说，智能手机相机的光圈狭小，具有动态范围有限的小型传感器，因而，它们总是得到有噪声和低对比度的图像。类似地，在不合适的照明情况下，拍摄的图像要么太暗要么太亮。图像修复旨在从损坏的度量中恢复原始的干净图像。由于存在许多可能的解决方案，这是一个不适定的逆问题。

　　据介绍，图像修复是一个位置敏感的过程，需要从输入图像到输出图像逐像素的对应。因此，只删除不想要的退化图像内容，而仔细保留所需的精细空间细节（例如真实边缘和纹理）是至关重要的。这种用于从真实信号中分离退化内容的功能可以更好地借助广泛上下文合并到卷积神经网络中，例如通过扩大感受野。为实现这一目标，上述团队开发了一种全新的多尺度方法，沿网络层次结构保持原始高分辨率特征，从而最大限度地减少精确空间细节的损失。同时，新模型使用以较低空间分辨率处理特征的并行的卷积流来编码多尺度上下文。多分辨率并行分支与主要高分辨率分支互补，从而提供更精确和上下文丰富的表征。

　　该方法与现有的多尺度图像处理方法之间的主要区别在于聚合上下文信息的方式。现有的方法分别处理每个尺度，而新方法从粗到细逐步交换和融合各分辨率级别的信息。此外，与现有方法不同，新方法引入了一种新的选择性核融合方法，利用自注意力机制，从每个分支表征动态筛选一组有用的核。更重要的是，所提出的融合块结合了具有不同感受野的特征，同时保留了它们独特的互补的特征。

　　图像复原旨在恢复丢失的高质量图像内容，在计算摄影、自动驾驶和遥感等诸多应用领域有着广泛的应用价值。近年来，受卷积神经网络主导，图像复原领域取得了重大进展。 然而，广泛使用的基于卷积神经网络的方法面临着上下文信息不能被精确编码抑或是空间上不够精确的问题。

　　近日，特斯联首席科学家邵岭博士及其团队提出了一种全新架构予以解决。相关研究成果（题为：Learning Enriched Features for Fast Image Restoration and Enhancement）已被IEEE T-PAMI收录。

　　在图像采集时，由于相机的物理限制或复杂的照明条件，经常会造成不同严重程度的图像退化。举例来说，智能手机相机的光圈狭小，具有动态范围有限的小型传感器，因而，它们总是得到有噪声和低对比度的图像。类似地，在不合适的照明情况下，拍摄的图像要么太暗要么太亮。图像修复旨在从损坏的度量中恢复原始的干净图像。由于存在许多可能的解决方案，这是一个不适定的逆问题。

　　据介绍，图像修复是一个位置敏感的过程，需要从输入图像到输出图像逐像素的对应。因此，只删除不想要的退化图像内容，而仔细保留所需的精细空间细节（例如真实边缘和纹理）是至关重要的。这种用于从真实信号中分离退化内容的功能可以更好地借助广泛上下文合并到卷积神经网络中，例如通过扩大感受野。为实现这一目标，上述团队开发了一种全新的多尺度方法，沿网络层次结构保持原始高分辨率特征，从而最大限度地减少精确空间细节的损失。同时，新模型使用以较低空间分辨率处理特征的并行的卷积流来编码多尺度上下文。多分辨率并行分支与主要高分辨率分支互补，从而提供更精确和上下文丰富的表征。

　　该方法与现有的多尺度图像处理方法之间的主要区别在于聚合上下文信息的方式。现有的方法分别处理每个尺度，而新方法从粗到细逐步交换和融合各分辨率级别的信息。此外，与现有方法不同，新方法引入了一种新的选择性核融合方法，利用自注意力机制，从每个分支表征动态筛选一组有用的核。更重要的是，所提出的融合块结合了具有不同感受野的特征，同时保留了它们独特的互补的特征。