本书介绍了机器学习的基本算法、历史发展、应用前景及相关问题。内容包括：机器学习所涉及的必要的数学知识，机器学习的基本模式和任务，神经网络的基本理论及算法结构，分类与聚类学习算法，数据维度归约的基本方法，图理论及方法以及当前比较流行的机器学习理论和算法。本书在加深学生对经典机器学习方法理解的基础上适当扩展其视野，以培养和提高其解决实际问题的能力。 本书可作为高等学校人工智能相关专业的教材，也适合该领域的工程技术人员参考使用。

近年来，人工智能（AI）的发展如火如荼，在很多领域都显示了强大的生命力。机器学习算法作为人工智能的核心也受到了广泛的重视。鉴于此，普及机器学习的基本知识，让更多的人特别是青年学生深入了解机器学习，进而在工作中将机器学习的理论和方法进行有效应用，就成为一项很重要的工作。目前，对于机器学习进行介绍和研究的书籍已经有不少，这些书籍大多出自国内外业界翘楚之手，其学术水平自不待言。然而这些书籍更多地着眼于学术上的严谨性和结构上的完整性，数学分析及推导的内容较多，而且基本都是“大部头”著作，对于处于入门阶段的读者来讲，可能阅读和理解起来较为困难。为了帮助广大读者打开机器学习这个领域的大门，我们精心编写了本书。在本书的编写过程中，我们以逻辑清晰、突出重点、简洁明了、方便接受、好学好懂为原则，尽量用较为平实的语言对机器学习的方法进行描述，以便于理解。在此基础上再渐次加深难度，逐步引领读者步入机器学习的殿堂。 本书以典型和常见的机器学习算法为例进行介绍，全书内容共分八章。第一章绪论，主要介绍了机器学习的基本情况、该领域的重要人物、学术流派、发展历程以及应用前景，同时对由机器学习发展所产生的社会影响也做了相应评述；第二章对机器学习所用到的数学知识进行了回顾和补充，主要集中在矩阵理论和统计学方面；第三章对机器学习的基本任务和学习模式进行了阐述，特别是对基于机器学习的拟合（回归）方法进行了讨论；第四章较为全面地介绍了神经网络这一机器学习的重要分支，对神经网络的工作机理进行了分析和评介；第五章对于作为机器学习基本任务之一的分类和聚类方法，从基本的基于统计的分类、聚类方法到现在较为先进的方法均进行了介绍；第六章对数据维度归约方法进行了介绍，内容涉及基于多元统计的方法及多类数据特征提取等；第七章对图方法进行了介绍，特别是对于决策树理论进行了较为详细的分析；第八章介绍了当前主流的、较为典型的机器学习方法，在一定程度上属于拓展视野的内容。 本书第一至第四章、第六章、第八章由姚舜才编写，第五章、第七章由孙传猛编写。全书由姚舜才统稿定稿。本书配有教学PPT演示文档，读者可从出版社网站下载。 本书的编写得到了西安电子科技大学出版社李惠萍老师的帮助和鼓励，在此表示衷心的感谢！ 机器学习的发展日新月异，而本书作者的知识学养水平有限，书中难免存在不当之处，恳请广大读者及专家不吝指正。

第一章 绪论 1 1.1 机器学习发展简史与概况 2 1.2 机器学习的研究与应用现状 5 1.3 机器学习的相关问题 9 1.4 机器学习的发展前景 12 第二章 机器学习的数学基础 14 2.1 线性代数与矩阵分析基础 14 2.1.1 线性空间基础 14 2.1.2 范数 16 2.1.3 矩阵运算及其分解 18 2.2 概率与统计基础 21 2.2.1 概率分布 22 2.2.2 数字特征 31 2.2.3 估计理论基础 35 2.2.4 贝叶斯理论基础 39 2.3 优化理论基础 41 2.3.1 无约束最优化 41 2.3.2 带有约束条件的最优化 42 复习思考题 43 第三章 机器学习基本知识 44 3.1 机器学习的建模问题 44 3.1.1 线性拟合（回归）及建模问题 44 3.1.2 非线性拟合（回归）及建模问题 50 3.2 机器学习模式概述 54 3.2.1 有监督学习模式 55 3.2.2 无监督学习模式 60 复习思考题 66 第四章 神经网络学习算法 67 4.1 神经网络概述 67 4.2 典型前馈型神经网络 73 4.2.1 前馈型（BP）神经网络基本运行模式 76 4.2.2 前馈型（BP）神经网络的相关问题 80 4.3 典型反馈型神经网络 83 4.3.1 反馈型神经网络基本运行模式 83 4.3.2 反馈型神经网络的相关问题 87 4.4 其他典型神经网络 91 4.4.1 径向基神经网络 91 4.4.2 自组织竞争神经网络 96 4.4.3 小脑模型神经网络 102 4.4.4 卷积神经网络 105 复习思考题 109 第五章 分类与聚类学习算法 110 5.1 分类学习算法 110 5.1.1 线性分类算法 111 5.1.2 非线性分类算法 120 5.1.3 核方法与支持向量机 128 5.2 聚类学习算法 134 5.2.1 K均值聚类算法 135 5.2.2 其他聚类算法 138 复习思考题 139 第六章 数据维度归约方法 140 6.1 单类数据降维 140 6.1.1 主成分分析 140 6.1.2 因子分析 148 6.1.3 相关分析 157 6.2 非线性降维算法简介 161 6.2.1 等距映射 162 6.2.2 拉普拉斯特征映射 163 6.2.3 局部线性嵌入 166 6.3 多类数据特征选择与提取 167 复习思考题 170 第七章 图方法 171 7.1 贝叶斯网络 171 7.1.1 贝叶斯网络理论 171 7.1.2 贝叶斯网络推理 173 7.2 决策树理论 176 7.2.1 定义与结构 176 7.2.2 特征选择准则 177 7.2.3 “过拟合”问题 179 7.2.4 连续值处理 180 7.2.5 决策树生成 180 7.2.6 算法实例 181 7.3 马尔可夫网络 189 复习思考题 191 第八章 其他典型机器学习方法概述 192 8.1 隐含马尔可夫模型 192 8.2 蒙特卡洛方法 196 8.3 组合多学习器 201 8.4 近似推断 206 8.5 增强学习方法 210 8.6 深度学习方法概述 214 8.7 深度学习方法应用举例 221 复习思考题 229 参考文献 230