这是一本从基础知识、设计思想、技术方案、应用方法、实践技巧5个维度系统讲解Kotlin元编程,并以此大幅提升Kotlin工程师开发水平、研发效率和开发体验的著作。作者是Kotlin领域的资深专家和布道者,本书源于他对Kotlin编译器源码的反复研读和大量的工程实践,不仅细致讲解了反射、程序静态分析、 Java注解处理器、Kotlin符号处理器、Kotlin编译器插件、元程序的开发和调试等核心元编程技术,而且详细剖析了Jetpack Compose的编译器插件和IntelliJ 插件、AtomicFU 的 JVM 字节码和JavaScript代码的生成逻辑。本书的出版打破了元编程技术资料少、门槛高的行业现状。本书包含大量案例,这些案例大多来自真实的生产实践,相对成熟和完善,可以作为元编程项目的范本。同时,本书提供大量的代码,为了提升阅读体验,在注释、书写和排版等方面对代码做了精心的优化。全书的源文件均可免费下载,读者可以通过作者的网站实时与作者互动和交流。
(1)作者背景资深:作者先后就职于腾讯和猿辅导,是中国Kotlin社区知名布道者和技术专家,Google开发者专家(Kotlin方向)(2)作者经验丰富:作者在Kotlin领域有大量的项目实践经验,对Kotlin编译器源码有深入研究,著有畅销书《深入理解 Kotlin 协程》。(3)内容系统深入:作者结合Kotlin编译器源码和工程实践经验,从基础知识、设计思想、技术方案、应用方法、实践技巧5个维度系统讲解Kotlin元编程。(4)理论实战兼备:不仅详细讲解了元编程的常见核心技术,而且提供了大量来自真实生产环境的案例及代码,图文并茂。
Preface 前 言
为何写作本书
2018年,我受邀在“JetBrains开发者日—2018中国巡演”活动中做题为“如何优雅地使用Kotlin数据类”的分享。在准备这次分享时,我花了几天时间调研为Kotlin的数据类提供深复制能力的可行性,并给出了基于Kotlin反射和Java注解处理器(APT)的实现方案,也就是后来开源的DeepCopy项目。当时我尝试过编写一款编译器插件来实现这个需求,不过最终因为对Kotlin编译器的了解有限而未能如愿。
2021年,我受邀在Google开发者社区主办的“社区说”活动中做题为“Kotlin编译器插件:我们究竟在期待什么?”的分享。这一次,我花了两周时间初步基于Kotlin符号处理器(KSP)和编译器插件实现了数据类的深复制,整个过程充满了探索的乐趣。
为了加深对Kotlin编译器的认识,我基于Kotlin编译器插件完成了可以实现类似于Android的@IntDef功能的ValueDef编译器插件。事实上,ValueDef的功能更强大,
@IntDef只会在代码编写时提供错误提示,而ValueDef除了会提供错误提示以外,还会在编译时报错。
与此同时,随着Kotlin符号处理器的开源和Jetpack Compose的发布,大家对Kotlin元编程的关注度也在逐步提升,但这方面的相关资料非常少。
于是,我向机械工业出版社的杨福川老师提出了把这些内容整理成书的想法,得到了他的肯定和支持。有了编写《深入理解Kotlin协程》的经验,我很快就正式开始了这本书的写作。
本书主要特点
“元编程”是一个比较庞大的话题,本书主要介绍了生产实践中应用较为广泛的反射、Java注解处理器、Kotlin符号处理器、Kotlin编译器插件、Kotlin语法分析等元编程相关的内容。
与一般的语法知识不同,元编程相关的内容通常较为抽象。为了更好地让读者理解元编程相关的各项技术,本书提供了丰富的应用案例。这些案例相对成熟和完善,可以作为元编程项目的范本。
本书基本上遵循了基础知识介绍和案例实践的结构。以第3章为例,3.1节和3.2节系统地介绍了Java反射和Kotlin反射的概念和使用方法,是基础知识介绍部分;3.3~3.5节通过案例进一步介绍反射的适用场景,是案例实践部分。
本书的实践案例通常包括案例背景、需求分析和案例实现这几方面。
案例背景:介绍案例的需求背景。本书的案例大多源自真实的生产实践,因此案例背景的介绍有非常重要的价值。
需求分析:明确需求的细节,拆解需求并转换成技术方案。
案例实现:提供详细的问题解决思路以及案例实现步骤。
在系统介绍了常见的Kotlin元编程技术之后,本书还对Jetpack Compose的编译器插件和IntelliJ插件、AtomicFU的字节码JavaScript代码逻辑做了详细的剖析。
与绝大多数技术书类似,本书包含了大量代码。为了提升阅读体验,我在编写本书时对代码做了以下优化:
省略不必要的部分,避免代码冗长而浪费篇幅。
代码缩进为2个空格,以降低缩进对阅读体验的影响。
核心代码注释覆盖率不低于30%,方便读者快速理解代码的含义。
核心代码单行长度不超过80个字符,避免排版后出现折行的问题。
在部分代码清单的开始处标注其所在的模块、文件或者函数等信息,方便读者自行查找相关源代码。
代码字体采用JetBrains Mono,该字体由Kotlin项目团队所属公司JetBrains为开发者专门打造,更适合代码的阅读。
本书阅读对象
本书探讨的内容有一定的复杂度。在阅读本书之前,读者需要对Kotlin语言的语法有较为深入的理解,也需要具备一定的编译原理的基础知识。
本书适用于有一定基础的Kotlin开发者,包括但不限于正在使用和希望使用Kotlin开发Android、Web服务、iOS、前端等应用的开发者。
本书非常适用于希望在Kotlin相关开发领域实现进阶的读者。本书介绍的内容对读者提升自身编程水平以及团队提升研发效率都有非常大的参考价值。
本书不会介绍Kotlin的基础语法,因此建议Kotlin初学者先阅读相关基础书。
如何阅读本书
本书基于Kotlin 1.8.0系统地介绍了Kotlin元编程的基本概念、技术方案、应用场景和实践技巧。
本书主要分为三部分,分别介绍如下。
第一部分为元编程的基础知识(第1章和第2章),为后续的元编程实践提供知识储备。如果读者有一定的Kotlin元编程基础,可以直接阅读第二部分内容。在阅读过程中,如果遇到概念相关的问题,也可以随时翻阅这部分内容。
第二部分为元编程的技术实践(第3~8章),涉及运行时的反射、源代码生成、编译时的符号处理、程序静态分析、编译器插件、元程序的开发和调试等内容。这部分的章节安排相对独立,读者可以根据自己的实际需求选择阅读相应的章节。需要说明的是,DeepCopy项目是贯穿这部分内容的综合案例,在介绍每一种元编程技术方案时,我们都会给出DeepCopy项目中对应的技术方案的实现,希望能够帮助读者加深对不同的元编程技术方案的认识。在了解了元编程的常见技术之后,本书在第8章重点介绍了元编程项目实践中编写单元测试和集成测试的常见方法与技巧,以提升读者开发元编程项目的
效率
目 录 Contents
前言
第一部分 元编程的基础知识
第1章 元编程概述2
1.1 元编程的需求背景2
1.2 元编程的基本概念4
1.2.1 元编程的定义5
1.2.2 元编程的分类5
1.3 元编程的学习方法6
1.3.1 培养兴趣6
1.3.2 付诸行动6
1.3.3 善用工具7
1.3.4 多读源代码8
1.4 常用项目的调试环境配置8
1.4.1 Java编译器8
1.4.2 Kotlin编译器11
1.4.3 IntelliJ社区版13
1.4.4 Jetpack Compose编译器插件19
1.5 本章小结21
第2章 元数据概述22
2.1 基本概念22
2.1.1 语法结构23
2.1.2 编译产物23
2.2 注释23
2.2.1 注释的结构化23
2.2.2 文档生成24
2.3 注解25
2.3.1 注解的概念25
2.3.2 源代码可见的注解26
2.3.3 二进制可见的注解27
2.3.4 运行时可见的注解30
2.4 Kotlin的元数据31
2.4.1 Kotlin JVM中的@Metadata
注解31
2.4.2 Kotlin JVM模块中的元数据35
2.4.3 klib中的元数据37
2.5 Kotlin的语法树39
2.5.1 Kotlin的语法定义40
2.5.2 基于IntelliJ平台接口的抽象语
法树41
2.5.3 新一代语法树FIR42
2.5.4 连接前后端编译器的IR43
2.5.5 Java和Kotlin的符号树45
2.6 Kotlin的编译产物47
2.6.1 JVM47
2.6.2 JavaScript48
2.6.3 Native48
2.7 本章小结49
第二部分 元编程的技术实践
第3章 运行时的反射52
3.1 Java反射52
3.1.1 基本功能52
3.1.2 解除访问限制53
3.1.3 动态代理54
3.1.4 对注解的支持55
3.1.5 对方法参数名的支持56
3.1.6 访问Kotlin代码57
3.2 Kotlin反射58
3.2.1 基本功能59
3.2.2 类引用的获取61
3.2.3 属性引用和函数引用65
3.2.4 typeOf67
3.2.5 dynamic类型69
3.2.6 属性委托70
3.3 案例:Retrofit的接口实现72
3.3.1 Retrofit基本用法72
3.3.2 GitHubService实例的创建73
3.3.3 函数参数与请求参数的
对应关系74
3.3.4 泛型类型的反序列化74
3.3.5 案例小结75
3.4 案例:使用反射实现DeepCopy75
3.4.1 案例背景75
3.4.2 需求分析76
3.4.3 案例实现78
3.4.4 小试牛刀79
3.4.5 案例小结79
3.5 案例:使用dynamic类型为
Kotlin JS实现DeepCopy80
3.5.1 案例背景80
3.5.2 需求分析80
3.5.3 案例实现83
3.5.4 案例小结83
3.6 本章小结84
第4章 源代码生成85
4.1 直接输出目标代码85
4.1.1 一个简单的例子85
4.1.2 标准库的代码生成87
4.2 案例:为Kotlin添加Tuple类型88
4.2.1 案例背景88
4.2.2 需求分析90
4.2.3 案例实现91
4.3 使用模板引擎生成目标代码93
4.3.1 Anko中的代码生成93
4.3.2 使用模板引擎渲染目标代码95
4.4 案例:为Java静态方法生成
Kotlin扩展函数(模板引擎)96
4.4.1 案例背景96
4.4.2 需求分析96
4.4.3 案例实现98
4.4.4 代码优化101
4.5 使用代码生成框架生成目标代码104
4.5.1 JavaPoet104
4.5.2 KotlinPoet109
4.6 案例:为Java静态方法生成
Kotlin扩展函数(KotlinPoet)114
4.6.1 类型的映射114
4.6.2 实现代码生成116
4.6.3 泛型参数的支持118
4.7 本章小结121
第5章 编译时的符号处理122
5.1 符号的基本概念122
5.1.1 Java的符号122
5.1.2 Kotlin的符号124
5.1.3 符号与语法树节点的关系和
区别125
5.2 处理器的基本结构125
5.2.1 APT的基本结构125
5.2.2 KSP的基本结构130
5.2.3 APT与KSP的结构差异131
5.2.4 处理器的配置文件132
5.3 深入理解符号和类型132
5.3.1 获取修饰符133
5.3.2 通过名称获取符号133
5.3.3 获取符号的类型134
5.3.4 通过类型获取符号138
5.3.5 判断类型之间的关系139
5.3.6 获取注解及其参数值141
5.4 案例:基于源代码生成模块的
符号文件144
5.4.1 案例背景144
5.4.2 案例实现:APT版本145
5.4.3 案例实现:KSP版本147
5.5 深入理解符号处理器148
5.5.1 如何使用APT处理Kotlin
符号148
5.5.2 符号的有效性验证150
5.5.3 处理器的轮次和符号的延迟
处理150
5.5.4 处理器对增量编译的支持151
5.5.5 多模块的符号处理154
5.6 案例:使用符号处理器实现
DeepCopy156
5.6.1 案例背景156
5.6.2 需求分析156
5.6.3 案例实现:APT版本157
5.6.4 案