《人工智能:机器学习与神经网络》以人工智能实现算法为视角,系统阐述机器学习与人工神经网络这两个彼此紧密联系的人工智能实现途径中的主要问题与解决方法。对于机器学习,在深入理解机器学习任务与关键问题的基础上,探讨监督学习、非监督学习、半监督学习、强化学习这四大类归纳学习问题的本质特性及其解决方案,同时论述作为归纳学习基础的相似性计算问题及其解决方法。对于人工神经网络,按照其关键问题是网络拓扑结构与学习方法的认识,分为前馈网络与反馈网络这两大类网络结构,阐述主要计算模型及其学习方法。最后对机器学习与人工神经网络下一步的发展趋势进行了展望。
随着深度学习技术的兴起及其在阿尔法围棋程序(AlphaGo)等实际应用中的精彩表现,人工智能(artificial intelligence,AI)再次进入公众的视野,AI迅速成为流行词汇,而深度学习也因此成为AI的代名词,为许多专业及非专业人士所关注,希望了解这项看似神奇的技术。对此,要在机器学习与人工神经网络这两大人工智能实现途径的大背景下来学习和研究“深度学习”。可以说,人工神经网络是深度学习之母,机器学习是深度学习之父。待有了机器学习与人工神经网络的基础后,再探索深度学习的理论与方法,方能建构起稳固的知识体系,否则终将是没有地基的棚屋,摇摇欲坠,一遇到深层次的问题,便会土崩瓦解。事实上,深度学习只是机器学习与人工神经网络中的一小部分,而除了机器学习与人工神经网络,人工智能还有符号智能、进化计算、计算群智能和行为智能。唯有知晓人工智能之全豹,才可能洞见深度学习这一斑。这自然并非易事,因为人工智能作为人类“认识自身(knowyourself)”的学问,其困难程度本身即不亚于上九天揽月、下深海擒龙。以深度学习为代表,人类已在探索人工智能的道路上取得诸多辉煌的成就,但即便如此,我们现在仍然处在人工智能发展的婴儿期,对于人类智能的本质知之甚少,对于其外在表现也还不过初窥堂奥,未来还有很长很长的路要走。对此,真正有志于人工智能学习和研究的人应有清醒的认识和足够的敬畏,如此才能在人类实现人工智能的伟大事业中保持激情。
本书正是基于上述认识,在人工智能总体知识的大背景下,从算法实现的角度,探讨当前机器学习与人工神经网络领域中的主要问题与解决方案,希冀针对这两个人工智能中紧密联系的分支建构起系统完整的知识体系。全书内容分为12章:
第1章为绪论,在对人工智能的总认识下,说明机器学习与人工神经网络问题,分别介绍这两项技术的发展简史,为全书内容奠基。
第2章为机器学习基础知识,定义机器学习问题,总结归纳学习的主要类型和常见的特定学习概念,分析机器学习算法应解决的主要问题。
第3章至第8章分别围绕监督学习、非监督学习、半监督学习、强化学习这四种归纳学习类型,探讨相应的解决方案。在监督学习中,该学习方式目前本质上是函数学习,按数据点函数表示形式、离散函数形式、连续函数形式、随机函数形式四种,围绕优化目标与优化算法这两个关键问题的解决来进行阐述。在非监督学习中,探讨了学习数据分布规律的聚类问题及其算法,以及学习数据之间相互关系的关联规则挖掘问题及其算法,并专门阐述了作为非监督学习基础的相似性计算问题及其解决方法。在半监督学习中,分为面向监督任务的半监督学习与面向非监督任务的半监督学习两类问题,分别介绍了相应算法。在强化学习中,围绕学习最优行动策略的根本目标,按照策略、V值、Q值这三个关键因素之间的相互关系,阐述了主要的强化学习算法,包括强化学习与深度网络相结合所导致的深度强化学习算法。
第9章为人工神经网络基础知识,介绍人工神经网络的源起与定义,说明作为神经网络基本构成元素的人工神经元模型,阐述网络结构与学习算法这两个人工神经网络技术中的根本问题。
第10章和第1 1章分别从前馈网络结构和反馈网络结构出发,阐述包括深度网络在内的各种网络结构模型以及建构在模型之上的学习算法。在前馈网络中,主要从感知器到多层感知器再到深度网络的发展脉络,探讨感知器、Adaline网络、反向传播(BP)网络、卷积神经网络、全卷积网络、U型网络、残差网络、深度信念网络与自编码器网络。此外,还分析了与此技术路线不同的另外两种前馈网络:径向基函数网络与自组织映射网。在反馈网络中,将主要模型总结为稳定型反馈网络与时序型反馈网络两类。在此基础上,阐述霍普费尔德网络与玻尔兹曼机这两种稳定型反馈网络,以及乔丹网络、艾尔曼网络、长短时记忆(LSTM)网络、双向反馈(BRNN)网络等时序型反馈网络。
第12章为结语,总结全书内容,给出对未来问题与技术的展望,包括小样本学习、相似度计算、网络结构学习、网络可视化以及传统方法与神经网络的合流。
本书是以一种近乎矛盾的心态写成的。一种心态是做知识的整理,有教材的性质;另一种心态是做全面独立的思考,有著作的性质。这两种心态是需要互补的,没有有序的整理便没有有益的思考,没有有益的思考也就没有有序的整理。因此,请读者带着这种矛盾的心态阅读本书,或许能因此有更多的收获。
第1章 绪论
1.1 人工智能及其实现途径
1.1.1 智能的外在表现与模拟
1.1.2 机器学习
1.1.3 人工神经网络
1.2 机器学习简史
1.3 人工神经网络简史
1.4 本书内容与组织
参考文献
第2章 机器学习基础
2.1 机器学习
2.2 机器学习方式
2.3 归纳学习类型
2.3.1 监督学习
2.3.2 非监督学习
2.3.3 半监督学习
2.3.4 强化学习
2.3.5 各学习类型的特点与共性
2.4 特定学习概念
2.4.1 生成学习与判别学习
2.4.2 度量学习
2.4.3 在线学习/递增学习
2.4.4 反馈学习
2.4.5 多任务学习
2.4.6 深度学习
2.4.7 迁移学习
2.4.8 流形学习
2.4.9 多示例学习
2.5 对学习算法的评价
2.5.1 过学习与泛化
2.5.2 偏置
2.5.3 数据鲁棒性
2.5.4 计算复杂性
2.5.5 透明性
参考文献
第3章 监督学习
3.1 函数形式
3.1.1 显式表示形式
3.1.2 隐式表示形式
3.1.3 数据点表示形式
3.2 优化目标
3.2.1 最小平方误差
3.2.2 最小化熵
3.2.3 极大似然估计
3.2.4 极大后验概率估计
3.2.5 最小描述长度
3.3 记忆学习
3.4 决策树学习
3.4.1 决策树
3.4.2 基于信息增益的决策树生成算法(ID3算法)
3.4.3 ID3算法的过学习问题与对策
3.4.4 基于最小描述长度准则的决策树学习算法
3.5 支持向量机
……
第4章 相似性度量
第5章 聚类方法
第6章 关联规则挖掘方法
第7章 半监督学习方法
第8章 强化学习
第9章 人工神经网络基础
第10章 前馈神经网络
第11章 反馈神经网络
第12章 结语