10.1 为什么必须用双层神经网络

10.1 为什么必须用双层神经网络

10.1.1 分类

我们先回忆一下各种分类的含义：

• 从复杂程度上分，有线性/非线性之分；
• 从样本类别上分，有二分类/多分类之分。

从直观上理解，这几个概念应该符合表10-2中的示例。

表10-2 各种分类的组合关系

	二分类	多分类
线性
非线性

在第三步中我们学习过线性分类，如果用于此处的话，我们可能会得到表10-3所示的绿色分割线。

表10-3 线性分类结果

XOR问题	弧形问题
图中两根直线中的任何一根，都不可能把蓝色点分到一侧，同时红色点在另一侧	对于线性技术来说，它已经尽力了，使得两类样本尽可能地分布在直线的两侧

10.1.2 简单证明异或问题的不可能性

用单个感知机或者单层神经网络，是否能完成异或任务呢？我们自己做个简单的证明。先看样本数据，如表10-4。

表10-4 异或的样本数据

样本	$x_1$	$x_2$	$y$
1	0	0	0
2	0	1	1
3	1	0	1
4	1	1	0

用单个神经元（感知机）的话，就是表10-5中两种技术的组合。

表10-5 神经元结构与二分类函数

神经元	分类函数Logistic

前向计算公式：

$$\text{Multiple tag}$$

• 对于第一个样本数据

$x_1=0,x_2=0,y=0$。如果需要$a=y$的话，从Logistic函数曲线看，需要$z<0$，于是有：

$$x_1{w}_1+x_2{w}_2+b<0$$

因为$x_1=0,x_2=0$，所以只剩下$b$项：

$$\begin{array}{}\text{(3)}& b<0\end{array}$$

• 对于第二个样本数据

$x_1=0,x_2=1,y=1$。如果需要$a=y$，则要求$z>0$，不等式为：

$$\begin{array}{}\text{(4)}& x_1{w}_1+x_2{w}_2+b=w_2+b>0\end{array}$$

• 对于第三个样本数据

$x_1=1,x_2=0,y=1$。如果需要$a=y$，则要求$z>0$，不等式为：

$$\begin{array}{}\text{(5)}& x_1{w}_1+x_2{w}_2+b=w_1+b>0\end{array}$$

• 对于第四个样本

$x_1=1,x_2=1,y=0$。如果需要$a=y$，则要求$z<0$，不等式为：

$$\begin{array}{}\text{(6)}& x_1{w}_1+x_2{w}_2+b=w_1+w_2+b<0\end{array}$$

把公式6两边都加$b$，并把公式3接续：

$$\begin{array}{}\text{(7)}& (w_1+b)+(w_2+b)<b<0\end{array}$$

再看公式4、5，不等式左侧括号内的两个因子都大于0，其和必然也大于0，不可能小于$b$。因此公式7不成立，无论如何也不能满足所有的4个样本的条件，所以单个神经元做异或运算是不可能的。

10.1.3 非线性的可能性

我们前边学习过如何实现与、与非、或、或非，我们看看如何用已有的逻辑搭建异或门，如图10-5所示。

图10-5 用基本逻辑单元搭建异或运算单元

表10-6 组合运算的过程

样本与计算	1	2	3	4
$x_1$	0	0	1	1
$x_2$	0	1	0	1
$s_1=x_1$ NAND $x_2$	1	1	1	0
$s_2=x_1$ OR $x_2$	0	1	1	1
$y=s_1$ AND $s_2$	0	1	1	0

经过表10-6所示的组合运算后，可以看到$y$的输出与$x_1,x_2$的输入相比，就是异或逻辑了。所以，实践证明两层逻辑电路可以解决问题。另外，我们在地四步中学习了非线性回归，使用双层神经网络可以完成一些神奇的事情，比如复杂曲线的拟合，只需要6、7个参数就搞定了。我们可以模拟这个思路，用两层神经网络搭建模型，来解决非线性分类问题。