“数字图像处理” 学习笔记


一切的开始——环境配置

安装 Anaconda

下载地址

选择下载 Python 2.7 version

安装完成后,便可在启动台中找到

安装 TensorFlow

打开终端,依次执行:

  • 创建 conda 新环境,并命名为 tensorflow

  • 激活 canda 环境

  • 在 conda 环境内部安装 tensorflow

测试 tensorflow 是否安装成功

进入 python ,测试 tensorflow 是否安装成功

  • 查看 python 版本,应为 python 2.7.14

  • 查看 tensorflow 版本,应为 ‘1.4.1’

  • 确认后,可以退出环境

使用 Tensorflow

每次使用 Tensorflow 都需要激活 Tensorflow 环境

每次使用完毕后,也需要关闭 Tensorflow 环境

数字图像

分为 灰度图像、彩色图像、二值图像

像素:数字图像是由二维元素组成,每一个元素具有一个特性的位置 \((x,y)\) 和幅度 \(f(x,y)\) 。

基础

采样和量化
  • 采样:图像空间坐标的数字化
    • 确定水平和垂直的像素个数,确定函数位置
  • 量化:图像函数值(灰度值)的数字变化
    • 对函数取值进行分级量化
      • 灰度图像一般量化为 \(0\) 到 \(255\)
        • 灰度直方图是对图中量化以后的像素点统计个数所得到的图
  • 非统一的采集、量化,对于集中区域多采样、量化的方式
数字图像的表示

用二维矩阵 \(a[m,n]\) 表示位于位置 \((m,n)\) 像素点的量化信息。

像素
  • D邻域:\((x\pm 1,y\pm 1)\)
  • 像素联通的两个必要条件:
    • 位置相邻
    • 灰度值是否满足特定的相似性准则
  • 像素之间的距离
    • 欧式距离:几何距离
    • D4 距离:曼哈顿距离
    • D8 距离:\(max{|x_1-x_2|,|y_1-y_2|}\)
彩色模型

常见的有 RGB模型、CYM 系统、CYMK 系统、HSI 模型。

  • RGB 模型,有三个参数 \((R,G,B)\) ,分别用两位十六进制表示。
  • HSB 模型,有三个参数,分别是 饱和度(S),色相(H),亮度(B) 。
  • 颜色用 \(360\) 度表示:
    • 相邻的同色系,称为近似色;
    • \(120\) 度 或者 \(240\) 度方向的,称为对比色;
    • \(180\) 度方向的,称为互补色。
图像格式
  • BMP 格式
    • 图像描述信息:图像的高度和宽度等信息
    • 图像数据部分:顺序存放的连续数据
图像质量
  • 对比度:一幅图像中灰度反差的大小。对比度=最大亮度/最小亮度
  • 与清晰度有关的主要因素:亮度、对比度、尺寸大小、细微层次、颜色饱和度

图像增强

图像处理有两种方法:

  • 空间域处理
    • 全局运算:在整个图像处理
    • 局部运算:在与像素有关的空间处理
    • 点运算:对图像作逐点运算
  • 频域处理

图像增强的方式:

  • 对比度增强
  • 图像平滑
  • 图像锐化
  • 同态滤波
  • 伪彩色与假彩色处理
  • 代数运算
  • 几何运算

灰度变换法

线性灰度变换

\(g(x,y)=\left\{\begin{matrix}
d & f(x,y) > b\\
\frac{d-c}{b-a}[ f ( x , y ) – a ] + c & a\le f(x,y)\le b\\
c & f(x,y) < a
\end{matrix}\right.\)

分段灰度变换

即分段函数的进行映射。

非线性变换

对数变换

低灰度区拓展,高灰度区压缩。

\(g(x,y)=a+\frac{ln[f(x,y)+1]}{blnc}\)

指数变换

高灰度区拓展,低灰度区压缩。

\(g(x,y)=b^{c[f(x,y)]-a}-a\)

直方图均衡化

直方图:表示数字图像中的每一个灰度级与其出现的频率间的统计关系,横坐标是灰度级,从纵坐标是频率。

直方图均衡化,是将原图像的直方图通过变换函数修正为均匀的直方图,然后按均衡直方图修正原图像。

直方图均衡化实质上是减少图像的灰度级以换取对比度的加大。

信息熵 \(H(x)=-\sum_{x\in \chi }p(x)log(x)\) ,当变量可取值的种类一定时,其取每种值的概率分布越平均,其熵值越大。

令 \(r\) 表示灰度级,\(P(r)\) 表示概率密度函数,且 \(r\) 值已归一化,最大灰度值为 \(1\) 。

变换 \(\int_{0}^{r}p(r)dr=\int_{0}^{s}p(s)ds=\int_{0}^{s}1\cdot ds=s=T(r)\)

离散的直方图均衡化 \(s_k=\sum _{j=0}^k p(r_j)\)

直方图匹配

直方图匹配:修改一幅图像的直方图,使得它与另一幅图像的直方图匹配或者具有一种预先规定的函数形状。

直方图匹配可以突出感兴趣的灰度区域,改善图像。

令 \(P(r)\) 为原始图像的灰度密度函数,\(P(z)\) 是期望通过匹配的图像灰度密度函数。

变换的方式是通过分别作直方图均衡变换作为桥梁,进行转换。

  1. 由 \(s=T(r)=\int_{0}^{r}p(r)dr\) 各点灰度由 \(r\) 映射成 \(s\)
  2. 由 \(v=G(z)=\int_{0}^zp(z)dz\) 各点灰度由 \(z\) 映射成 \(v\)
  3. 根据 \(s=T(r)\) 有 \(r=T^{-1}(s)\) 又有 \(v=G(z)\) 逐一取 \(s=v\) 求出与 \(r\) 对应的 \(z=G^{-1}(s)\)

图像分割

图像分割是按照某些特性(例如灰度级,频谱等)将图像划分成一些区域。

门限化

灰度级门限化

选择一个门限,将两个门限分开:

设 \(f(x,y)\) 为原始图像

\(g(x,y)=\left\{\begin{matrix}
1 & f(x,y)\ge T\\
0 & f(x,y) < T
\end{matrix}\right.\)

\(T\) 一般选择两个峰值之间的谷

半门限化

\(g(x,y)=\left\{\begin{matrix}
L_G & f(x,y)\ge T\\
f(x,y) & f(x,y) < T
\end{matrix}\right.\) 或者 \(g(x,y)=\left\{\begin{matrix}
f(x,y) & f(x,y)\ge T\\
L_B & f(x,y) < T
\end{matrix}\right.\)

边缘检测

边缘分类有:脉冲状边缘、突变边缘

由于噪声、照明等产生边缘间断,使得一组像素难以完整形成。

  • 梯度模值的大小:对于点 \((x’,y’)\) ,判断其是否与领域内的 \((x,y)\) 相似,当 \(|\bigtriangledown f(x,y)-\bigtriangledown f(x’,y’)| \le T\) ,其中 \(T\) 是一个非负的阀值;
  • 梯度向量的方向角:对于点 \((x’,y’)\) ,判断其是否与领域内的点 \((x,y)\) 的方向角相似,当 \(|\alpha (x,y)-\alpha (x’,y’)| < A\) ,其中 \(A\) 是一个角度阀值。

差分算子

梯度:\(G(f(x,y))=\begin{bmatrix}
\frac{\partial f}{\partial x}\\
\frac{\partial f}{\partial y}
\end{bmatrix}\)

  • \(\bigtriangleup _xf(x,y)=f(x,y)-f(x+1,y)\)
  • \(\bigtriangleup _yf(x,y)=f(x,y)-f(x,y+1)\)
拉普拉斯算子

\(\bigtriangledown ^2f(x,y)=-\left [ f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1) \right ]+4f(x,y)\)

Hough 变化

在找出边界点集之后,需要连接,形成完整的边缘。

  • 对于边界上的 \(n\) 个点的点集,找出共线的点集
  • 将 \(y=ax+b\) 这样的直线对应到 \(ab\) 平面上
    • 过 \(xy\) 平面一个点 \((x,y)\) 的所有直线形成 \(ab\) 平面上的一条直线
  • 找到在 \(ab\) 平面上相交直线最多的点,就是在 \(xy\) 平面内找到的最近似边缘

模版匹配

在恒定亮度背景下,有一个亮点,当模版中心正好处于图像上的亮点位置时,计算值最大(达到完全匹配),从而实现了对该亮点检测。

模版匹配有:点模版,线匹配,方向模版

权数为 \(\begin{bmatrix}
w_1 & w_2 & w_3\\
w_4 & w_5 & w_6\\
w_7 & w_8 & w_9
\end{bmatrix}\) ,\(x=\begin{bmatrix}
a_1 & a_2 & a_3\\
a_4 & a_5 & a_6\\
a_7 & a_8 & a_9
\end{bmatrix}\)

当 \(w^Tx=w_1a_1+w_2a_2+\cdots +w_9a_9>T\) 时,目标被检测出。

序贯分割

并行法:对图像上每一点所作的处理不依赖于其他点上经过处理已经得到的结果。

序贯法:需用前面已经处理的结果,跟踪计算不需要在每一点上进行,只需在已检测的点到正在跟踪的延伸点上作计算。

主要方法有:光栅跟踪、全向跟踪。

区域生长

从满足检测准则的点开始(或者已知点)在各个方向上长出区域。

活动形状模型

Snakes 模型 \(V=\{v_1,v_2,\cdots ,v_n\}\) ,其中 \(v_i=(x_i,y_i)\)

能量函数

梯度能量:\(e_{\text{grad}}(p_{j,k}) = \left \| \bigtriangledown I(p_{j,k}) \right \|=\sqrt{(I(p_{j,k})-I(p_{j-1,k})) ^2+(I(p_{j,k})-I(p_{j,k – 1})) ^2}\)

平滑性约束:\(e_{\text{con}}(p_{j,k}) = \left \| p_{ j , k}  – \frac{1}{2} (v_{i-1}+v_{i+1})\right \|\)

气球约束:\(e_{\text{bal}}(p_{j,k}) =n_i\cdot (v_i-p_{j,k})\) ,其中 \(n_i\perp  t_i, t_i=\frac{v_i-v_{i-1}}{\left \| v_i-v_{i-1} \right \|}+\frac{v_i-v_{i+1}}{\left \| v_i-v_{i+1} \right \|}\)

加权计算总能量:\(e(p_{j,k})=\alpha e_{\text{grad}}(p_{j,k}) + \beta e_{\text{con}}(p_{j,k}) + \gamma e_{\text{bal}}(p_{ j , k})\)

傅立叶变换

最小二乘原则

误差平方和最小:对给定的数据 \(x_i,y_i\) ,再取定的函数类 \(\phi\) 中,求 \(p(x)\in \phi\) ,使误差 \(r_i=p(x_i)-y_i\) 的平方和最小,即 \(\sum _{i=0}^m r_i^2=\sum _{i=0}^m [p(x_i)-y_i]^2=min\)

\(p(x)\) 中不一定是次数越高拟合效果就越好,可能会出现突变。

傅立叶级数

理想的基应该具备的条件

  • 正交
    • 对连续函数集 \(\{\phi _i\}_{i=0}^{\infty }\) ,我们给出如下定义:
      • 若 \(\int _a^b \phi _i(x) \phi _j(x)dx=0 (i\neq j , i , j=0 , 1 , \cdots )\)
      • 且 \(\int _a^b | \phi _i(x) | ^2 dx \neq 0 (i=0,1,\cdots )\)
    • 则称函数集在区间 \([a,b]\) 内正交
  • 单位化

图像平滑

主要分为:

  • 频域平滑
    • 低通滤波
      • 滤除掉高频成分,保留低频成分,在频域中实现平滑处理
      • 特点
        • 物理上不可实现
        • 有抖动现象
        • 滤除高频成分是图像变模糊
      • 滤波公式 \(G(u,v)=H(u,v)F(u,v)\)
        • \(G(u,v)\) 平滑图像频谱
        • \(H(u,v)\) 转移函数(滤波器)
        • \(F(u,v)\) 原始图像频谱
      • 理想低通滤波器 \(H(u,v)=\left\{\begin{matrix}
        1 & D(u,v)\le D_0 \\
        0 & D(u,v) > D_0
        \end{matrix}\right.\) 其中 \(D_0\) 为截止频率,\(D(u,v)=(u^2+v^2)^{1/2}\)
      • 巴特沃思低通滤波器 \(H(u,v)=\frac{1}{1+(\sqrt{2}}-1)[D(u,v)/D_0]^{2n}\)
      • 指数型低通滤波器 \(H(u,v)=e^{[ln(1/\sqrt{2})][D(u,v)/D_0]^n}\)
      • 梯形低通滤波器 \(H(u,v)=\left\{\begin{matrix}
        1 & D(u,v)\le D_0\\
        [D(u,v)-D_1]/(D_0-D_1) & D_0 < D(u,v) \le D_1\\
        0 & D(u,v) > D_1
        \end{matrix}\right.\)
  • 时域平滑
    • 局部平均
      • 有一幅数字图像 \(g(x,y)=f(x,y)+n(x,y)\) ,处理后为 \(\overline{g}(x,y)=\frac{1}{M}\sum _{(i,j)\in S}g(i,j)\)
    • 中值滤波
      • 通过选定窗口,取中位数来替代当前位置
      • 在你抑制图像随机脉冲早上方面甚为有效
      • 运算速度快,可硬化,便于实时处理
    • 多帧平均
  • 彩色图像平滑
    • 读取 RGB 彩色图像
    • 分别提取 RGB 通道的分量
    • 设置平滑方法
    • 对图像是三个分量分别滤波

图像锐化

图像锐化的目的:加强图像轮廓,使图像看起来比较清晰。

高频加强滤波器

  • 图像轮廓使灰度陡然变化的部分,包含着丰富的空间高频成分
  • 高频加强滤波器使高频分量相对突出,而低频分量和甚高频分量则相对抑制
  • 理想高频加强滤波器 \(H(u,v)=\alpha + H_l(u,v)H_h(u,v)\)
    • 增益为 \(\alpha\) 的全通滤波器 \(H_{\alpha}(u,v)\)
    • \(H_h(u,v)=\left\{\begin{matrix}
      0 & D_(u,v)\le D_{h0} \\
      \sqrt{1-\alpha} & D_(u,v)> D_{h0}
      \end{matrix}\right.\)
    • \(H_l(u,v)=\left\{\begin{matrix}
      \sqrt{1-\alpha}  & D_(u,v)\le D_{l0} \\
      0& D_(u,v)> D_{l0}
      \end{matrix}\right.\)
  • 巴特沃思高通滤波器 \(H(u,v)=\frac{1}{1+(\sqrt{2}}-1)[D_0/D(u,v)]^{2n}\)
  • 指数型高通滤波器 \(H(u,v)=e^{[ln(1/\sqrt{2})][D_0/D(u,v)]^n}\)
  • 梯形低通滤波器 \(H(u,v)=\left\{\begin{matrix}
    0 & D(u,v)\le D_1\\
    [D(u,v)-D_1]/(D_0-D_1) & D_1 < D(u,v) \le D_0\\
    1 & D(u,v) > D_0
    \end{matrix}\right.\)

微分法

  • 正弦函数 \(sin 2 \pi \alpha x\) 的微分 \(2\pi \alpha cos 2\pi \alpha x\)
    • 微分后频率不变,幅度上升 \(2\pi \alpha \) 倍
    • 空间频率越高,幅度增加就越大
  • 最常见的微分法是梯度法:
    • 方向是在该点变换率最大的方向;
    • 长度等于最大变化率。
  • 典型梯度算法:
    • \( G[f(x,y)]= \{ [f(x,y)-f(x+1,y)]^2+[f(x,y)-f(x,y+1)]^2 \}^{\frac{1}{2}} \)
  • Roberts 梯度算法
    • \(G[f(x,y)]=\{ [f(x,y)-f(x+1,y+1)]^2+[f(x+1,y)-f(x,y+1)]^2 \}^{\frac{1}{2}} \)
  • 更适合计算机实现,采用绝对差分算法
    • \(G[f(x,y)] = |f(x,y)-f(x+1,y)|+|f(x,y)-f(x,y+1)|\)
  • 对数字图像,不可能在最后一行和最后一列计算梯度,一种补救方法是,用前一行和前一列的来补充
  • 梯度越大,变化越大,通过保留地图变化大的部分
    • \(g(x,y)=\left\{\begin{matrix}
      G[f(x,y)]  & G[f(x,y)] \ge T \\
      f(x,y) & else
      \end{matrix}\right.\)

反锐化掩模法

  • 基本算法 \(g(x,y)=f(x,y)+C[f(x,y)-\bar{f}(x,y)]\)
    • \(f(x,y)\) 原始图像
    • \(\bar{f}(x,y)\) 人为方法模糊的图像
      • 可以通过简单的局部平均得到
    • 模糊图像中高频图像已经被削弱

数学形态学

  • 用数学形态学(也称图像代数)表示以形态为基础对图像进行分析的数学工具
  • 基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目的
  • 集合论
    • 击中:\(A \cap B \neq \) 空 ,则称 \(B\) 击中 \(A\) ,记为 \(A \uparrow B \)
    • 反射 \(\hat{B}\) 定义为 \(B=\{w|w=-b,b\in B\}\) 即关于原集合原点的对称
    • 平移 \((A)_z\) ,定义为 \((A)_z =\{c|c=a+z,a\in A\}\)
  • 基本运算有
    • 膨胀
      • 使图像扩大
      • \(A\oplus B=\{z|(\hat {B})_z \cap A \neq \text{空}\}\)
    • 腐蚀
      • 使图像缩小
      • \(A\Theta B=\{z|(B)_z \subseteq A\}\)
    • 开操作
      • 使图像的轮廓变得光滑,断开狭窄的间断和消除细的突出物
      • \(A \circ B=(A\Theta B) \oplus B\)
    • 闭操作
      • 使图像的轮廓变得光滑,消除狭窄的间断和长细的鸿沟,消除小的孔洞,并填补轮廓线中的裂痕
      • \(A \cdot B=(A\oplus B) \Theta B\)
  • 应用
    • 边缘提取
      • \(\beta(A)=A-(A\Theta B) \)
    • 孔洞填充
      • \(X_k=(X_{k-1}\oplus B)\cap A^c\) 直到 \(X_k=X_{k-1}\)
    • 骨架提取

伪彩色和假彩色处理

  • 伪彩色处理
    • 根据一定准测给灰度值赋予彩色值的处理。
      • 将黑白图像(灰度图像)转换为彩色图像
      • 将单色图像变换成给定彩色分布的图像
    • 灰度分层法
      • \(f(x,y)=C_i,l_{i-1}\le f(x,y)\le l_i\)
    • 灰度变换法
      • \(R(x,y)=T_R[f(x,y)]\)
      • \(G(x,y)=T_G[f(x,y)]\)
      • \(B(x,y)=T_B[f(x,y)]\)
  • 假彩色处理
    • 把真是的自然彩色图像、遥感多光图像、医学图像等处理成假彩色图像
    • 真彩色图像处理成假彩色图像
      • \(\begin{bmatrix}
        R_g\\
        G_g\\
        B_g
        \end{bmatrix}=\begin{bmatrix}
        \alpha _1 & \beta _1 & \gamma _1\\
        \alpha _2 & \beta _2 & \gamma _2 \\
        \alpha _3 & \beta _3 & \gamma _3
        \end{bmatrix}\begin{bmatrix}
        R_f\\
        G_f\\
        B_f
        \end{bmatrix}\)

代数运算

  • 相加
    • 图像叠加,去除噪声
  • 相减
    • DSA、运动物体检测
  • 相乘
    • 提取或删除图像某部分
  • 相除
    • 遥感多光谱图像相除抵消入射分量 \(i(x,y)\)
  • 图像融合
    • 将多源信道所采集到的关于同一目标的图像经过一定的图像处理,提取各自信道的信息,最后综合成统一图像以供观察或进一步处理
    • 分为三个层次
      • 数据级融合(像素级融合)
      • 特征级融合
      • 决策级融合

几何变换

  • 图像平移
  • 图像旋转
  • 图像转置
  • 图像缩放
  • 图像镜像
  • 插值方法
    • 最近邻法(取离新像素最近的像素作为新像素)
    • 双线性法
      • \(g(x’,y’)=(1-dx)(1-dy)g(A)+dx(1-dy)g(B)+(1-dxdy)g(C)+dxdyg(D)\)

几何校正

图像恢复

  • 图像退化:一些原因导致了图像质量的下降
    • \(G(u,v)=F(u,v)H(u,v)+N(u,v)\) ,\(N(u,v)\) 为噪声
  • 图像复原:对退化的图像进行处理,试图恢复损坏的图像,还原真面目

空域滤波恢复

  • 均值滤波器
    • 算术均值滤波器
      • \(\hat{f}(x,y)=\frac{1}{mn}\sum_{(s,t)\in S_{xy}}g(s,t)\)
    • 几何均值
      • \(\hat{f}(x,y)=[\sum_{(s,t)\in S_{xy}}g(s,t)]^{\frac{1}{mn}}\)
    • 谐波均值滤波器
      • \(\hat{f}(x,y)=\frac{mn}{\sum_{(s,t)\in S_{xy}}\frac{1}{g(s,t)}}\)
    • 逆谐波均值滤波器
      • \(\hat{f}(x,y)=\frac{\sum_{(s,t)\in S_{xy}}g(s,t)^{Q+1}}{\sum_{(s,t)\in S_{xy}}g(s,t)^{Q}}\)
  • 顺序统计滤波器
  • 自适应滤波器

频域滤波方法

  • 带阻滤波器
    • 去除图像中的周期噪声涉及到图像中的特定部分
    •  理想带阻滤波器定义如下:
      • \(H(u,v)=\left\{\begin{matrix}
        1 & if\; D(u,v) < D_0-\frac{W}{2}\\
        0 & if\; D_0-\frac{W}{2}\le D(u,v)\le D_o+\frac{W}{2}\\
        1 & if\; D(u,v) > D_0+\frac{W}{2}
        \end{matrix}\right.\)
  • 维纳滤波器
    • 目标是寻找一个滤波器,使得恢复后的图像 \(\hat{f}(x,y)\) 与原始图像 \(f(x,y)\) 的均方误差最小: \(E\{[\hat{f}(x,y)-f(x,y)]^2\}=min\)

空域统计滤波器

  • 统计滤波器
    • 基于滤波器包围的图像区域中像素点的排序
    • 中值滤波器
      • \(\hat{f}(x,y)=\text{median}_{(s,t)\in S_{xy}}\{g(s,t)\}\)
    • 最大值和最小值滤波器
      • \(\hat{f}(x,y)=\text{max}_{(s,t)\in S_{xy}}\{g(s,t)\}\)
      • \(\hat{f}(x,y)=\text{min}_{(s,t)\in S_{xy}}\{g(s,t)\}\)
    • 中点滤波器
      • \(\hat{f}(x,y)=\frac{1}{2}[\text{max}_{(s,t)\in S_{xy}}\{g(s,t)\}+\text{min}_{(s,t)\in S_{xy}}\{g(s,t)\}]\)
    • 修正后的 Alpha 均值滤波器
      • \(\hat{f}(x,y)=\frac{1}{mn-d}\sum _{(s,t)\in S_{xy}}g_r(s,t)\)

自适应滤波器

  • 自适应滤波器的行为基于 \(m\times n\) 矩形窗口 \(S_{xy}\) 定义的区域内图像的统计特征
  • 自适应中值滤波器
    • 工作分两个层次:
      • \(A\) 层
        • \(A_1=Z_{med}-Z_{min}\)
        • \(A_2=Z_{med}-Z_{max}\)
        • 如果 \(A_1 > 0\) 且 \(A_2 < 0\) 转到 \(B\) 层
      • \(B\) 层
        • \(B_1=Z_{xy}-Z_{min}\)
        • \(B_2=Z_{xy}-Z_{max}\)
        • 如果 \(B_1 > 0\) 且 \(B_2 < 0\) 输出 \(Z_{x,y}\)

小波

  • 在有限时间范围内变化且其平均值为零的数学函数
    • 具有有限的持续时间和突变的频率和振幅
    • 在有限的时间范围内,它的平均值等于零

小波变换

  • 是对一个函数在空间和时间上进行局部变化的一种数学变换
    • 通过平移母小波获得信号的时间信息
    • 通过缩放母小波的宽度获得信号的频率特性
    • 凡能用傅立叶分析的函数都可以用小波分析
    • 连续小波变换
      • \(C(\text{scale},\text{position})\int_{- \infty }^{+ \infty}f(\text{scale},\text{position},t) dt\)
    • 离散小波变换
      • 通过高频滤波器和低频滤波器,逐层分解
      • 滤波器重构是还原分解前的信号

Haar 小波

  • Haar 小波是目前唯一一个既具有对称性又是有限支撑的正交小波

深度学习

  • 人工智能包含机器学习、机器学习包含深度学习
  • 机器学习和深度学习
    • 深度学习要求更大的数据量和更高的硬件要求(GPU)
    • 深度学习可解释性弱,精度无限制
    • 深度学习的三个特征
      • 多层神经网络
      • 海量数据输入
      • 规则自学习
  • 在所有的无偏线性估计类中,最小二乘方法是其中方差最小的
  • 防止过拟合的方法
    • 控制模型的训练程度
    • 增加训练所用样本的多样性和全面性
    • 控制模型的复杂度
  • 回归与分类都是监督学习,即输入数据都含有标签

人工神经网络

  • 神经元 \(y=\varphi(u)=\varphi(\sum_{i=1}^d w_i x^i +b)\)
  • 感知机模型(线性分类器) \(\varphi(u)=sgn(u)\) 则 \(y=sgn(\sum_{i=1}^d w_i x^i +b)\)
  • 感知机 的学习算法:
    • 训练数据 \((x(1),y(1)),(x(2),y(2)),\cdots ,(x(n),y(n))\)
      • \(x(t)=\pm 1\)
    • LMS 算法
      • 初始化 \(w(0)=\{0,0,\cdots ,0\}\)
      • 迭代 \(w(t)=\left\{\begin{matrix}
        w(t-1) & y(t)(w(t-1)\cdot x(t)) > 0\\
        w(t-1)+\eta y(t)x(t) & y(t)(w(t-1)\cdot x(t)) \le 0
        \end{matrix}\right.\) 其中 \(\eta\) 是控制收敛速度的参数
  • 多层感知机
    • 符号函数 \(\varphi(u)=sgn(u)\) 不可微
    • Sigmoid 函数 \(\varphi(u)=\frac{1}{1+e^{-u}}\) 可微
  • 反向传播
    • 多层感知机的中间隐层不直接与外界连接,其误差无法估计
    • 算法
      • 训练数据 \((x(1),y(1)),(x(2),y(2)),\cdots ,(x(n),y(n))\)
      • \(x(t)=\pm 1\)
      • \(y(t)\) 是希望的输出值
      • \(o(t)\) 为实际的输出值
      • \(e(t)=y(t)-o(t)\) 误差
        • 最小平方误差 \(E=\frac{1}{2}\sum _{t=1}^ne^2(t)\)
        • 最速下降法 \(w(k)=w(k-1)-\eta \bigtriangledown E\)
    • LMS 算法
      • \(E=\frac{1}{2}e^2(t)\)
      • \(\bigtriangledown E=-(y(t)-o(t))\frac{\partial o(t)}{\partial w}=-e(t)\frac{\partial o(t)}{\partial w}\)
      • \(\bigtriangledown E\) 只用当前训练数据——串行处理

CNN

  • 卷积
    • 卷积是一项广泛应用于信号处理、图像处理以及其他工程/科学领域的奇数
    • 卷积定义为 \(f*g(t)=\int _{-\infty }^{\infty }f(\tau ) g(t-\tau) d\tau\)
  • 卷积神经网络分层的信息
    • 第二层:一些边角或色彩特征
    • 第三层:纹理特征
    • 第四层:一些局部部位
    • 第五层:对整体的物体有比较强的识别能力
  •  卷积神经网络成功三要素
    • 计算能力:晶体管(单层),CPU(两层),集群或GPU(多层)
    • 数据量:1-10(单层),1k-10k(两层),1M-100M(多层)
    • 算法:学习算法(单层),BP算法(两层),Pre-Training;ReLU(多层)

You may also like

LEAVE A COMMENT

Statistics

  • 0
  • 88,057

Categories

Archive

Comments