本书结合实际例子详细介绍了数据挖掘和机器学习领域关联规则模型、朴素贝叶斯模型、贝叶斯网络模型、基线模型、聚类模型、通用回归模型、回归模型、高斯过程模型以及K*近邻模型九种模型的表达方式及构建知识。读者*好同时结合《PMML建模标准语言基础》一书进行学习，以便融会贯通，灵活运用，更好地把PMML语言应用到自己的项目实践中。本书的读者对象为从事数据挖掘、机器学习、人工智能系统开发的人员以及教师和学生，也可以作为大数据及机器学习爱好者的自学用书。

国内独一关于数据挖掘和机器学习PMML建模的图书

关于PMML的基础知识，我们在《PMML建模标准语言基础》（潘风文，潘启儒著）一书中进行了详细介绍。1997年，芝加哥伊利诺伊大学的Robert Lee Grossman博士发起设计了数据挖掘模型的开放标准语言PMML(Predictive Model Markup Language)，即预测模型标记语言。PMML是一种基于XML规范的开放式挖掘模型表达语言，为不同的数据挖掘系统提供了定义和应用数据挖掘模型的方法，为大数据模型的跨平台应用提供了标准的解决方案。通过采用PMML规范，用户可在一个软件系统中创建预测模型，以符合PMML标准的文档对其进行表达，然后将其传递到另外一个应用系统中，并在该系统中对新的环境下的数据进行预测，从而实现预测模型的跨语言、跨平台应用的可移植性。作为事实上的表达预测模型的标准，目前PMML已经被IBM、SAS、NCR、FICO、NIST、Tibco等顶级商业公司所支持，同时也受到大量开源挖掘系统，如Weka、Tanagra、RapidMiner、KNIME、Orange、GGobi、JHepWork等的支持，其影响力越来越大，目前已经成为W3C的标准。

我们知道，一个完整、有效的PMML实例文档包括数据词典、挖掘模式/架构、数据转换、模型定义、输出、目标、模型解释、模型验证等元素，PMML规范（4.3版）支持关联规则模型、朴素贝叶斯模型、通用回归模型、高斯过程回归等17种常用模型和一种聚合模型（在一个PMML文档中包含多个不同模型，实现协同功能）。本书我们将结合实例，对每个挖掘模型的组成、算法和构建进行具体介绍，使大家对这些模型有一个相对清晰、完整的把握。限于篇幅，我们将PMML规范支持的18种模型分在两本书中进行介绍，本书介绍的模型包括关联规则模型、朴素贝叶斯模型、贝叶斯网络模型、基线模型、聚类模型、通用回归模型、回归模型、高斯过程模型以及K最近邻模型九种。剩下的九个模型，包括神经网络模型、规则集模型、序列规则模型、评分卡模型、SVM（支持向量机）模型等，我们将在《数据挖掘与机器学习：PMML建模（下）》中讲述。通过本书学习，读者可以学习到标准的PMML模型的表达方式及构建知识，对于具有一定数据挖掘和机器学习基础的读者，通过阅读本书，照样可以补充学习数据挖掘和机器学习模型的丰富知识。为了提高学习效果，读者最好同时结合《PMML建模标准语言基础》进行学习，以便融会贯通，灵活运用，更好地把PMML语言应用到自己的项目实践中。

本书由长期从事数据挖掘领域的潘风文博士和北京中医药大学生命科学学院黄春芳副教授合作编写，其中第1章、第6章和第7章由黄春芳编写，其余章节由潘风文编写。潘启儒在本书编写过程中做了许多协助工作，在此表示真诚感谢。由于平时业务繁忙，编写时间比较仓促，因此书中难免存在疏漏，希望广大读者在阅读过程中不吝给出批评指正，以便我们在重印时进行修改、完善。作者QQ：420165499。

本书的读者对象为从事数据挖掘、机器学习、人工智能系统开发的人员以及教师和学生，也可以作为大数据及人工智能方向爱好者的自学用书。



潘风文　黄春芳

2019年10月

1　关联规则模型AssociationModel 1

1.1　关联规则基础知识 2

1.2　关联规则算法简介 4

1.3　关联规则模型元素AssociationModel 8

1.3.1　模型属性 10

1.3.2　模型子元素 11

1.3.3　评分应用过程 18



2　朴素贝叶斯模型NaiveBayesModel 20

2.1　朴素贝叶斯模型基础知识 21

2.1.1　全概率公式 22

2.1.2　贝叶斯定理 23

2.2　朴素贝叶斯算法简介 24

2.2.1　朴素贝叶斯算法 24

2.2.2　朴素贝叶斯模型参数估计 26

2.3　朴素贝叶斯模型元素NaiveBayesModel 34

2.3.1　模型属性 36

2.3.2　模型子元素 36

2.3.3　评分应用过程 41



3　贝叶斯网络模型BayesianNetworkModel 51

3.1　贝叶斯网络基础知识 52

3.2　贝叶斯网络算法简介 55

3.3　贝叶斯网络模型元素BayesianNetworkModel 56

3.3.1　模型属性 57

3.3.2　模型子元素 58

3.3.3　评分应用过程 65



4　基线模型BaselineModel 78

4.1　基线模型的基础知识 79

4.1.1　一般基线模型的概念 79

4.1.2　PMML规范中的基线模型 80

4.2　基线模型元素BaselineModel 87

4.2.1　模型属性 87

4.2.2　模型子元素 88

4.2.3　评分应用过程 98



5　聚类模型ClusteringModel 100

5.1　聚类模型的基础知识 101

5.2　聚类算法简介 104

5.2.1　硬聚类和软聚类 105

5.2.2　基于算法主要特征的划分 105

5.2.3　PMML规范中的聚类 108

5.3　聚类模型元素ClusteringModel 108

5.3.1　模型属性 110

5.3.2　模型子元素 110

5.3.3　评分应用过程 124



6　通用回归模型GeneralRegressionModel 125

6.1　通用回归模型基础知识 126

6.2　通用回归算法简介 130

6.2.1　一般线性回归模型GLM 130

6.2.2　广义线性回归GLZM 132

6.2.3　Cox回归 146

6.3　通用回归模型元素GeneralRegressionModel 147

6.3.1　模型属性 150

6.3.2　模型子元素 154

6.3.3　评分应用过程 163



7　回归模型RegressionModel 193

7.1　模型属性 196

7.2　模型子元素 197

7.3　评分应用过程 200



8　高斯过程模型GaussianProcessModel 207

8.1　高斯过程模型基础知识 209

8.2　高斯过程算法简介 210

8.3　高斯过程模型GaussianProcessModel 213

8.3.1　模型属性 214

8.3.2　模型元素 215

8.3.3　评分应用过程 220



9　最近邻模型NearestNeighborModel 224

9.1　KNN最近邻模型基础知识 225

9.2　KNN最近邻模型算法简介 227

9.3　最近邻模型NearestNeighborModel 230

9.3.1　模型属性 233

9.3.2　模型子元素 234

9.3.3　评分应用过程 236



附录 243