本书是一本关于大数据处理技术的图书,主要研究R语言在专利分析领域的应用方法。全书从四个方面展开:首先给出R语言快速入门需要掌握的基本知识;然后从专利分析数据处理角度出发,总结归纳用R语言处理专利数据的几种常用场景;接着结合专利分析中的数据可视化给出常用专利分析图表的R语言制图方法;*后结合数据挖掘算法介绍了利用R语言进行专利数据挖掘与建模的几种常见任务。
随着我国供给侧结构性改革地不断推进,具有制度供给和技术供给双重属性的知识产权,尤其是专利对供给侧结构性改革的支撑和保障作用不断增强,专利信息利用也越来越被社会各界所重视,专利在政府决策支撑、行业发展和企业创新等方面越来越发挥着重要作用。专利分析作为专利信息挖掘的核心手段之一,是充分挖掘专利数据背后隐藏的高价值情报信息的重要支撑。专利分析涉及多个环节,包括数据处理、数据可视化、数据挖掘与建模等。虽然目前专利分析方法很多,但大多是针对不同环节采用不同的处理方式,仍然缺少能够实现多个环节有效衔接、统一处理的模式,这使专利分析的准确性和效率难以保障。随着全球专利数量地不断提升,专利分析的难度大大增加,这在各个环节中均有所体现。其中,数据处理是专利分析的重中之重,是专利分析工作者获取规范化样本数据的主要途径,数据处理的质量是彰显专利分析成果准确性的核心指标之一。虽然专利格式统一、规范,但不同数据库对专利数据的收录范围、收录方式千差万别,这加大了各数据汇总后处理成规范化数据的难度,而且数据量的增加,也超出了常规数据处理方式的处理能力。因此,提升海量专利数据处理的质量和效率,是做好大数据时代下专利分析工作的重要基石,更是必然要求。专利数据量的不断提升导致专利数据的可读性不断下降,海量混杂的专利数据信息交织在一起使数据更难于被理解,这不仅需要我们以更细化、更全面的形式来展示数据,还需要我们与数据进行更多的交互,以加强数据的理解,而传统的静态数据可视化形式显然不能满足目前的需求,开发针对海量专利数据的动态可视化方式是解决目前困境的必经之路。同时,专利数据量地不断提升导致数据类型的不断扩展,数据量及类型的变化也对专利数据的挖掘和建模方式提出了更高的要求。针对特定的应用场景,建立合适的模型来挖掘海量专利数据背后隐藏的高价值信息,是传统的统计分析工具所不能胜任的。利用深度学习算法进行数据挖掘已经在多个领域展现了巨大的优势,而在专利分析领域尚属空白。因此,探索研究基于深度学习的人工智能专利数据挖掘和建模方法,以满足海量专利数据的要求,势在必行,时不我待。本书主要从四个方面展开:一是给出R语言快速入门需要掌握的基本知识;二是从专利分析数据处理角度出发,总结归纳用R语言处理专利数据的几种常用场景;三是结合专利分析中的数据可视化给出常用专利分析图表的R语言制图方法;四是结合数据挖掘算法介绍利用R语言进行专利数据挖掘的几种常见任务。本书由国家知识产权局专利局专利审查协作江苏中心光电技术发明审查部组织编写,具体撰写分工如下:屠忻,参与撰写前言、第1章、第2章、第3章第3.1~3.2节;李立功,参与撰写第3章第3.3~3.7节、第4章第4.1~4.3.1节;高慧霞,参与撰写第4章第4.3.2节、第4章第4.4~4.5节;杨爽,参与撰写第4章第4.3.3节、第4.6节;蒋帆,参与撰写第4章第4.7节~4.8节、第5章第5.1~5.2节;黄煜,参与撰写第5章第5.3~5.4节;左良军,参与撰写第5章第5.5~5.6节、本书附录A~C、参考文献。全书由李立功、左良军负责统稿、校对。本书内容为编者在专利分析工作中的经验总结,希望能为提升从业者的专利数据处理、数据可视化及信息挖掘的能力起到一定的积极作用。由于时间仓促,加之编者水平所限,部分成果还需要在实际应用中不断丰富和完善,应用效果也需要经过实践的进一步检验。本书中的观点和内容如若存在偏差和不足之处,敬请广大读者批评指正。
屠忻:毕业于南京大学,2002年起在国家知识产权局专利局工作。现就职于国家知识产权局专利局专利审查协作江苏中心光电部,副研究员,国家知识产权局高层次人才,国际型审查专家,局级教师。 李立功:毕业于中国科学院半导体研究所,工学博士。现就职于国家知识产权局专利局专利审查协作江苏中心,副研究员,国家知识产权局骨干人才,参与过多项专利分析与预警项目,在知识产权类刊物上发表多篇学术论文。 左良军:国家知识产权局专利局专利审查协作江苏中心审查员,工学硕士,助理研究员,参与编写教科书《专利分析数据处理实务手册》,参与过多项专利分析与导航项目,在知识产权类刊物上发表多篇学术论文。 杨爽:曾任企业软件研发工程师,现就职于国家知识产权局专利局专利审查协作江苏中心,专利审查员,工学硕士,参与过多项专利分析与导航项目。 高慧霞:国家知识产权局专利局专利审查协作江苏中心审查员,理学博士,助理研究员,国家知识产权局骨干人才,参与过多项专利分析与预警项目,发表过多篇学术论文。 黄煜:国家知识产权局专利局专利审查协作江苏中心审查员,工程硕士,助理研究员,熟悉专利分析实务,参与过高价值专利培育项目,在知识产权类刊物上发表过多篇文章。 蒋帆:国家知识产权局专利局专利审查协作江苏中心审查员,工学硕士,助理研究员,从事电、磁测试领域发明专利实质审查工作,著有《Arduino探究实验》。
第1章 简 介001
1.1 关于本书 001
1.1.1 为什么要撰写本书 001
1.1.2 本书的撰写原则 002
1.1.3 本书的读者对象 003
1.1.4 本书的使用方法 004
1.2 专利分析概论 004
1.2.1 专利分析基本流程 004
1.2.2 当前专利分析基本方法 010
1.2.3 专利分析的发展方向 011
1.3 数据科学概论 012
1.3.1 数据取样与探索 012
1.3.2 数据预处理与可视化 013
1.3.3 数据挖掘与建模 014
1.4 小结 014
第2章 R语言入门016
2.1 本章概述 016
2.2 R语言简介与安装 017
2.2.1 R语言简介 017
2.2.2 R安装及RStudio简介 018
2.3 R包的使用 021
2.3.1 R包的介绍 021
2.3.2 R包的安装和载入 022
2.4 常用R包及函数使用介绍 023
2.4.1 数据整理tidyr 023
2.4.2 表格操纵dplyr 027
2.4.3 字符处理stringr 031
2.4.4 时间处理lubridate 034
2.4.5 数据导入导出openxlsx 036
2.5 R语言数据结构 037
2.5.1 向量 037
2.5.2 矩阵 038
2.5.3 数组 039
2.5.4 数据框 040
2.5.5 因子 042
2.5.6 列表 043
2.6 小结 044
第3章 专利数据处理045
3.1 本章概述 045
3.2 申请年份统计 046
3.2.1 年份申请量统计 047
3.2.2 年份国内外申请量统计 050
3.2.3 年份国别申请量统计 052
3.3 专利申请人统计 055
3.3.1 申请人专利数量统计 056
3.3.2 标准申请人清洗 058
3.3.3 申请人合作关系统计 062
3.4 技术主题统计 069
3.4.1 技术主题分布统计 069
3.4.2 技术主题占比统计 072
3.5 同族数据统计 073
3.5.1 同族数据拆分为多列 073
3.5.2 同族数据拆分为多行 076
3.6 多维数据联合统计 080
3.6.1 三维数据的联合统计 080
3.6.2 四维数据的联合统计 085
3.7 小结 086
第4章 专利数据可视化087
4.1 本章概述 087
4.2 利用ggplot2包制图 088
4.2.1 柱形(条形)图 088
4.2.2 折线(路径)图 098
4.2.3 散点(气泡)图 103
4.3 利用Highcharter包制图 108
4.3.1 圆环类图 109
4.3.2 极坐标图 113
4.3.3 矩形树图及热力图 118
4.4 利用Dygraphs包绘制交互式时序图 121
4.4.1 折线时序图 122
4.4.2 折线 条形时序图 123
4.4.3 堆叠条形 折线时序图 124
4.5 利用Circlelize包制图 126
4.5.1 申请人合作关系弦图 126
4.5.2 五局技术流向弦图 128
4.5.3 条形跑道图 132
4.6 专利地图的绘制 134
4.6.1 基于baidumap和Remap包绘制地图 135
4.6.2 专利地图与其他图表的结合 140
4.7 利用NetworkD3包制图 145
4.7.1 力导图 145
4.7.2 网络图 152
4.8 小结 155
第5章 专利数据挖掘与建模156
5.1 本章概述 156
5.2 数据挖掘基础 157
5.2.1 数据挖掘的基本任务 157
5.2.2 数据挖掘建模的过程 158
5.3 变量主成分分析 159
5.3.1 问题背景 159
5.3.2 主成分分析方法 160
5.4 聚类分析 166
5.4.1 问题背景 166
5.4.2 K-means聚类分析 166
5.5 分类与预测分析 173
5.5.1 问题背景 173
5.5.2 人工神经网络算法 174
5.5.3 支持向量机算法 181
5.5.4 朴素贝叶斯算法 185
5.6 小结 189
附录A 本书代码索引190
附录B 本书用到的扩展包192
附录C R语言学习资源195
参考文献198