机器学习系列（三）- 神经网络的理解

• 视频参考：“神经网络”是什么？如何直观理解它的能力极限？它是如何无限逼近真理的？
• 对某一事物，人有一个无法准确描述的定义标准，神经网络则是通过人对于事物的判断（是与不是）定义自己的标准，通过神经网络自己的标准不断比对人的标准，寻找到最接近人的定义标准，从而用神经网络自己的方式描述人无法描述的标准。

基础概念

• 神经网络的基本单元就是感知机。

• 神经网络由输入层、隐藏层（多层级）、输出层组成，如图所示 $x_i$ 为输入层，中间圆圈代表感知机组成的隐藏层，$\widehat{y}$ 代表输出层。

• 每一层节点与下一层节点全部相连，称为全连接网络；数据传递方向为单向向前传递，称为前馈神经网络；还包括循环神经网络等。

• 神经网络的劣势：参数量极大，调参困难；通过梯度下降法、随机梯度下降法或卷积、池化的方法降低维度。

  如：1080p图片，200万像素点，则代表神经网络输入层有200万个维度且需要被调节。

普遍逼近定理

• 感知机解决二分类问题，通过训练夹逼出分界线；神经网络仅提供单项（肯定）的数据，无法通过训练夹逼出分界线；

• 感知机简单抽象为描述+判断；同样神经网络亦如此，是通过多次描述+判断（线性函数+激活函数）来完成，但我们无法明确、清晰的描述判断结果的定义，如对于猫的标准描述是什么；

  对于神经网络来说所有的线性函数就是神经网络对于判定结果的标准描述，激活函数则是判断数据是否符合标准描述。

  

• 通过将感知机的激活函数 $0-1$阶跃函数，替换成 $sigmoid(x)=\frac{1}{1+e^{-x}}$ 函数，将判断结果从是非的二分类问题变成了好坏的无限逼近问题。

  

简单神经网络绘图

个人理解：图像纵轴表示神经网络判断是否符合标准描述的概率，所以 $sigmoid$ 函数可呈现多层级坡度样式；而 $0-1$ 阶跃函数仅能进行是非判断，所以仅能呈现两层级垂直样式。