神经网络第三次浪潮,始于2006年突破。Geoffrey Hinton表明,深度信念网络神经网络,用贪婪逐层训练策略可有效训练(Hinton et al., 2006a)。
同样策略可训练其他类型深度网络(Bengio and LeCun, 2007a Ranzato et al., 2007b),系统提高测试样例泛化能力。普通深度学习术语。强调训练比较深神经网络,深度理论重要性(Bengio and LeCun,2007b Delalleau and Bengio, 2011 Pascanu et al., 2014a Montufar et al., 2014)。
深度神经网络优地其他机器学习技术及手工设计功能AI系统。
第三次浪潮现在已开始着眼无监督学习技术、深度模型小数据集泛化能力。更多兴趣点极是监督学习算法、深度模型充分利用大型标注数据集能力。
第三次神经网络兴起的标志
在人工智能的发展历史中,第三次神经网络兴起的标志性事件包括Hinton提出深度信仰网络/波兹曼机、Hinton小组在ImageNet竞赛中夺冠以及AlphaGo战胜李世石。