训练CNN时，可以对输入进行旋转、平移、缩放等预处理提高模型泛化能力。

将Sigmoid激活函数改为ReLU，将有助于克服梯度消失的问题。

深度学习与机器学习算法之间的区别在于，后者过程中无需进行特征提取工作，也就是说，我们建议在进行深度学习过程之前要首先完成特征提取的工作。

神经网络进行图片语义分割时，先用CNN处理输入，再用反CNN得到输出。

激活函数为有限值时，基于梯度的优化方法更加稳定。

设计的秩序性就是指设计中各相关元素之间的（）问题。

多层网络全部初始化为0，会使梯度为0或各层相同，相当于浅层网络。

提升卷积核（convolutional kernel）的大小会显著提升卷积神经网络的性能。

一个不包含非线性的神经元可以看作是线性回归函数。

动力学是理论力学的分支学科，研究作用于物体的（）与物体运动的关系。