内容简介
本书以数字图像处理的研究方法、图像处理传统算法以及基于深度学像法为主要内容，年来计算机视觉研究方行了详细的归纳和介绍。系统介绍了数字图像处理相关基础操作、神经网络核心概念等基础知识，以及集中论述了图像复原、图像增强、目标检测、图像分割、多任务学心图像处理技术。
目录
前言;第1章 数字图像处理基础 pan class="Apple-converted-space">;1.1 数字图像处理概述 pan class="Apple-converted-space">;1.1.1 图像的概念 2;1.1.2 图像的分类 3;1.1.3 图像的语义 3;1.2 数字图像处理基本运算 5;1.2.1 基本运算类型 5;1.2.2 点运算 5;1.2.3 代数运算 7;1.2.4 几何运算 8;1.3 数字图像处理基础知识 12;1.3.1 图像的色彩空间 12;1.3.2 图像的二值形态学 14;1.3.3 图像的直方图 14;1.3.4 图像金字塔 17;1.3.5 边缘特征提取 20;1.3.6 其他特征提取 26;参考文献 28;第2章 神经网络 30;2.1 神经网络基础知识 30;2.1.1 神经元与感知机 30;2.1.2 反向传播算法 33;2.1.3 输入与输出 35;2.1.4 激活函数 35;2.1.5 损失函数 37;2.2 神经网络的优化及面临的问题 38;2.2.1 参数初始化 38;2.2.2 正则化 4pan class="Apple-converted-space">;2.2.3 常用优化算法 4pan class="Apple-converted-space">;2.2.4 神经网络面临的问题 44;2.3 卷积神经网络 46;2.3.1 基础知识 46;2.3.2 卷积神经网络组成 48;2.3.3 其他卷积方式 5pan class="Apple-converted-space">;2.3.4 常用卷积神经网络 53;参考文献 56;第3章 图像复原 57;3.1 图像去噪 57;3.1.1 简介 57;3.1.2 常见噪声模型 57;3.1.3 经典传统去噪方法 60;3.1.4 基于深度学噪方法 64;3.1.5 真实图像噪声的去噪方法 7pan class="Apple-converted-space">;3.1.6 小结 74;3.2 图像去模糊 74;3.2.1 图像去模糊理论基础 74;3.2.2 基于优化的传统去模糊方法 78;3.2.3 基于深度学模糊方法 87;3.2.4 小结 9pan class="Apple-converted-space">;3.3 图像去雾 9pan class="Apple-converted-space">;3.3.1 图像去雾的意义 9pan class="Apple-converted-space">;3.3.2 传统去雾方法 9pan class="Apple-converted-space">;3.3.3 基于深度学法 95;3.3.4 小结 97;参考文献 97;第4章 图像增强 100;4.1 图滑 100;4.1.1滑的意义 100;4.1.2 传滑方法 100;4.1.3 基于深度学法 106;4.1.4 小结 110;4.2 图像融合 110;4.2.1 图像融合概述 110;4.2.2 基于变换域的图像融合方法 113;4.2.3 基于空间域的图像融合方法 114;4.2.4 基于深度学像融合方法 116;4.2.5 融合评价指标 119;4.2.6 图像融合的主要应用 120;4.2.7 小结 122;4.3 低光照图像增强 123;4.3.1 低光照图像增强概述 123;4.3.2 基于Retinex理论的低光照图像增强算法 124;4.3.3 基于深度学光照图像增强算法 127;4.3.4 小结 134;参考文献 134;第5章 目标检测 136;5.1 基础概念 136;5.1.1 背景知识 136;5.1.2 目标检测相关概念 136;5.2 传统目标检测算法 137;5.2.1 传统算法流程 137;5.2.2 传统算法框架 138;5.3 基于深度学标检测算法 149;5.3.1 双阶段目标检测算法 149;5.3.2 单阶段目标检测算法 159;5.4 本章小结 173;参考文献 173;第6章 图像分割 176;6.1 概述 176;6.1.1 图像分割概述 176;6.1.2 图像分割发展背景 176;6.2 图像分割传统算法 177;6.2.1 基于阈值分割的算法 177;6.2.2 基于区域提取的算法 180;6.2.3 基于边缘检测的算法 182;6.2.4 结合特定理论工具的算法 183;6.3 基于深度学像分割算法 185;6.3.1 全卷积网络 185;6.3.2 带图模型的卷积模型 188;6.3.3 基于编码器-解码器的结构 190;6.3.4 基于多尺度和金字塔网络的模型 193;6.3.5 膨胀卷积模型与DeepLab系列 197;6.3.6 基于循环神经网络的模型 202;6.3.7 基于注意力机制的方法 205;6.3.8 生成模型和对抗训练 208;6.4 本章小结 21pan class="Apple-converted-space">;参考文献 21pan class="Apple-converted-space">;第7章 多任务学13;7.1 图像与图像边缘 213;7.1.1 边缘引导的图像补全 214;7.1.2 边缘引导的图像超分辨率 215;7.1.3 边缘引导的语义分割 217;7.1.4 边缘引导的图滑 225;7.1.5 小结 227;7.2 图像与图滑 227;7.2.1 图滑引导的图像补全 227;7.2.2 小结 230;7.3 图像与语义分割 230;7.3.1 语义分割引导的图像补全 230;7.3.2 语义分割结合图像超分辨率 23pan class="Apple-converted-space">;7.3.3 语义分割引导的图像重定向 234;7.3.4 场景分割引导的图像融合 236;7.3.5 小结 239;7.4 图像理解与图像增强和复原 239;7.4.1 图像增强结合目标检测 240;7.4.2 图像增强结合语义分割 242;7.4.3 图像去噪与图像理解 244;7.4.4 图像分类驱动的图像增强 245;7.4.5 小结 247;参考文献 247;彩图
摘要与插图
第1章 数字图像处理基础;
1.1 数字图像处理概述;
数字图像处理（Digital Image Processing）是指通过计算机对图行分析、加工和处理，使之满足视觉、心理、工业生产等要求的技术。作为信号处理（Signal Processing）的一个子领域，相较于模拟图像处理（Analog Image Processing）技术，数字图像处理技术有很多优势。首先，数字图像处理的过程中不会引入新的噪声和失真，可以更好地保持图像原有的信息；其次，数字图像处理技术比模拟图像处理技术更加灵活，可以方便地引入多种多样的计算机算法。因此，数字图像处理逐渐取代了模拟图像处理技术，被广泛地应用于生活和生产中。;
巴特兰有线图像传输系统（简称巴特兰系统）是数字图像处理技术的早期应用之一。该系统由哈里 巴塞洛缪和梅纳德 麦克法兰发明，利用电缆传输数字图像。在1921年，他们*次应用这一系统，通过大西洋的海底电缆将数字图像从伦敦传递到纽约。在该系统发明前，跨大西洋传输一幅图像需要数天，而巴特兰系统一次传输只需要花费几个小时，因而该系统的发明对新闻业产生了巨大的影响。;
1957年，罗素 基尔希和他的团队发明了世界上**台数字图像扫描仪。基尔希曾选择自己刚刚出生不久的儿子的照片来测试扫描仪，这使得这张照片成为世界上*早通过扫描仪扫描并存储在计算机的图片之一。在将图片扫描后，他们还利用这些数字图像测试了边缘增强滤波器（Filter）等一系列图像处理算法。可以说，他们的发明显著地了数字图像处理技术和计算机视觉技术步。2003年，这张照片入选了时代杂志评选的“改变世界的100张图片”。;
数字图像处理作为一门学科形成于20世纪60年代初期。在1964年，徘徊者7号探测器地将上千张月球的图像传输回地球。受到电磁辐射等因素的干扰，这些图像的质量很差。为了改善图像的质量，加州理工学院的喷气实验室（Jet Propulsion Laboratory）将去噪、几何修正、灰度变换等数字图像处理技术应用于这些图像，并取得了巨大的。可以说，这是数字图像处理技术*次真正意义上的应用。图1.1是经过处理后徘徊者7号探测器从月球发回的照片。;
1989年，法国计算机科学家 LeCun 等将卷积神经网络（Convolutional Neural Network，N）应用于手写数字识别[1]。随后在1998年，他们提出了 LeNet[2]模型，这是人类*次使用卷积–池化（Pooling）–全连接（Fully Connected，FC）层结构的神经网络结构。可以说，他们的一系列工作开启了在数字图像处理领域应用卷积神经网络的先河。然而由于计算能力的瓶颈以及神经网络本身的可解释问题，在随后的几十年里，卷积神经网络的发展走向了暂时的低谷。;
图1.1 徘徊者7号探测器发回的照片之一;
图形处理单元（Graphics Processing Unit，GPU）是用于在计算机上运行绘图运算工作的微处理器，它拥有数百甚数千个核心，具行并行计算的潜力。2011年，Ciresan 等在 NVIDIA 公司推出的图形处理器上训练卷积神经网络，其训练速度是使用同时代中央处理器（Central Processing Unit，CPU）训练速度的10～60倍[3]。随着计算能力的提升，基于卷积神经网络的一系列数字图像法重新引起人们的关注。2012年，由 Krizhevsky 等设计的 AlexNet[4]在同年的 ImageNet 大规模视觉识别挑战赛上取得了15.3%的错误率，比名低10.8%，掀起了卷积神经网络应用于数字图像处理领域的热潮。此后，在图像复原、图像增强、目标检测、图像分割等领域，基于卷积神经网络的一系列方法取得了的效果。目前，卷积神经网络已经成为数字图像处理领域的研究。;
1.1.1 图像的概念;
图像（Image）是人类对视觉感知的物质再现。图像可以通过光学设备获取，如显微镜成像；也可以通过自然事物人为地创作得到，如绘画、雕塑；也可以通过电子元件捕获，如数码相机通过其感光元件将图像转化为电信号，并存储在存储器中。;
图像可以被定义为一个二维函数 f(x， y)∈ Rn，其中 x 和 y 都是空间坐标（这里我们不考虑动态图像，如，也不考虑三维图像，如全息图），而 f 在任意坐标(x， y)处的取值代表该点处图像的亮度情况。当 x、y、f(x， y)的取值都是有限的离散值时，这个图像是数字图像，反之则为模拟图像。可以说，数字图像是由有限个位置上的亮度信息组成的，这些位置上的亮度信息是数字图像不可再分的基本元素，称为像素（Pixel）。;
在实践中，人们往往需要将模拟图像转换成数字图像。为此，首先需要取一些点(x， y)处的亮度值，称为取样（Sampling），保证了 x、y 都是有限的离散值。为了使 f(x， y)的取值也是有限的离散值，还需要将源图像（Source Image）中 f(x， y)的取值按规似成某一范围的整数，这个过程称为量化（Quantization）。对模拟图行取样与量化并使其*终转化为数字图像的过程称为数字化（Digitize）。;
用来表示图像颜色的方法称为色彩模式。常见的色彩模式有很多：RGB 色彩模式通过红（Red）、绿（Green）、蓝（Blue）三原色光的强度来表示色彩；HSV 色彩模式通过色相（Hue）、饱和度（Saturation）、明度（Value）来表示色彩；而广泛应用于印刷领域的 CMYK 色彩模式则是利用青色、洋红色、黄色和黑色四种颜色的强度来表示图像。这些色彩模式都需要多个分量来表示颜色，每一个分量对应的灰度图像称为通道（Channel）。;
1.1.2图像的分类;
按照在计算机中存储的方式，数字图像可以分为二值图像（Binary Image）、灰度图像（Grayscale Image）、彩色图像、索引图像（Indexed Images）。;
（1）二值图像：二值图像是每个像素只有0，1两种取值的数字图像。由于每个像素只有0和1两种取值，二值图像经常作为图像分割、图像二值化的处理结果。;
（2）灰度图像：灰度图像是每个像素只有一个采样值的数字图像。如果采样值只有0，1两种取值，灰度图像退化为二值图像了。;
（3）彩色图像：彩色图像的每个像素都需要用多个分量的强度值来表示。表示彩色图像的这些方式也是色彩模式。;
（4）索引图像：索引图像用颜色索引表存储图片中出现的所有颜色在色彩空间中的取值。而在图片矩阵中存储对应颜色在索引表中的索引值。在读取索引图像时，对每个像素，都要先查找颜色索引表，然后读取对应的色彩值。;
从图像是否间变化，我们可以把数字图像分为静止图像和动态图像。如果一幅图像各像素的亮度值不间变化而变化，称其为静止图像。在动态图像中，像素的位置不能用二维的(x， y)表示，而是变成了三维的(x， y， t)，其中 t 是时间变量。动态图像*常见的一个例子是。利用人眼成像的视觉暂留（Persistence of Vision）效应，动态图像通过把多张静态图像以较快的速行切换，使得人能够看到不断变化的图像。;
1.1.3 图像的语义;
语义，即语言所蕴含的意义。语言由符号组成，符号本身并没有含义，而由符号组成的语言却蕴含着丰富的信息，这些信息是语义。同样地，图像是由一系列亮度值组成的，一个像素处的亮度值本身并不蕴含信息，而图像中却蕴含有丰富的信息。通过类比，我们可以定义图像的语义：图像的语义是图像中蕴含的意义。;
按照抽象程度的高低，图像语义可以分成低层语义（Low-level Semantics）与高层语义（High-level Semantics）两类。低层语义主要是图像的特征，如图像中的色彩、形状、纹理等。与低层语义相关的数字图像处理技术主括如下内容。;
（1）图像边缘检测（Edge Detection）：图像边缘检测的目标是检测和标识数字图像中亮度或色彩变化明显的点。图像的边缘蕴含着丰富的图像结构信息，可一步用于改善图像增强、目标检测、图像分割等的效果。;
（2）图像增强（Image Enhancement）：在图片增强问题中，人们希望能有选择地突出图像中一些感兴趣的区域，或者一些不重要的特征，来改善图像的质量。例如，在较差的光照条件下拍摄的图像往往存在亮度低、对比度差等问题。这不仅影响观感，也影响目标检测、图像分割等下游任务的效果。低光照图像增强方法可以用来改善这些图像的质量。;
（3）图像融合（Image Fusion）：图像融合是通过两幅或多幅图像的信息综合生成一幅图像的技术。通过综合利用这些图像在时空上的相关、信息上的互补，图像融合技术可以生成高质量的图像，从而方便人或计算机一步使用。;
（4）图像复原（Image Restoration）：数字图像在成像、数字化和传输过程中常受到成像设备与外部环境噪声干扰，这一过程是图像的退化（Degenerate）。图像复原的目标是通过先验知识去恢复被退化的图像。由于退化的原因是多种多样的，图像复原有很多分支，如图像去噪（Image Denoising）、图像去雨、图像去雾、图像去模糊等。;
高层语义侧重于图像中蕴含的物体与概念，如图像中物体的相对位置，图像通过场景、行为、情感表达的意义等。高层语义更于人类对图像的理解，抽象程度更高。与高层语义相关的数字图像处理技术主括如下内容。;
（1）图像分类（Image Classification）：图像分类任务的目标是给图像一个或者多个标签，以指示图像中的主要内容或所属类别。常见的图像分类的应用有相册图片归类、以图搜图、场景识别、病理图像分类等。;
（2）目标检测（Object Detection）：目标检测技术是用于从图像中识别和定位预定义类别的物体实例的技术，一含目标定位和目标分类两个子任务，涉及了回归和分类两个课题。目标检测的应用方括：人脸识别、车辆检测、安保系统、领域等。;
（3）图像分割（Image Segmentation）：图像分割指的是根据图像的灰度、色彩、纹理、几何形状等特征，将图像划分成若干个互不相交的区域，使得同一区域内的像素有某种共同的视觉特。图像分割算法在医学图像处理、无人驾驶、安防监控等领域都得到了广泛的应用。;
1.2 数字图像处理基本运算;
1.2.1 基本运算类型;
在图像处理中，我们经常要采用各种各样的算法来对图行处理。根据输入图像得到输出图像运算的数学特征则可以将图像处理运算方式分为以下三种：①点运算；②代数运算；③几何运算。本节将对这三种类型分行详细的介绍，值得注意的是，上面几种类型的算法均属于在空间域上的操作，与之相对应的变换域操作则不在行介绍。;
1.2.2 点运算;
图像的点运算指将单张输入图像映射为单张输出图像，在此过程中输出图像每个像素点的灰度值只由对应输入图像像素点的值决定。而此类点运算常常用于改变图像的灰度范围及其分布，所以也是图像数字化及图像显示的重要工具。由于其作用质，点运算也常被称为对比度增强、对比度拉伸或是灰度变换。点运算实质上是一种由灰度到灰度的映射过程，设输入图像为 A(x)，输出图像为 B(x)，则点运算可以表示为;
(1.1);
换言之，点运算由灰度映射函数 f 决定。由于仅为灰度间的映射，点运算不会改变图像像素之间的空间关系。接下来我们介绍一些常见的点运算方法。;
1.线点运算;
对于线点运算，其灰度变换函数可以描述为以下形式：;
(1.2);