深度学习编译器设计_高伟、韩林、李嘉楠_9787302675518

随着大模型的发展与应用,深度学习编译器的内涵和外延逐步扩展。与传统编译器相比,深度学习编译器增加了特定于人工智能模型实现的设计与优化。本书共12章。第1章从深度学习的起源、发展与爆发出发,引出深度学习模型的基础概念、深度学习应用的开发流程和深度学习框架。第2章介绍深度学习运算特征、深度学习硬件平台和深度学习编译技术,通过分析典型深度学习编译器的架构,给出深度学习编译器的一般架构。第3章介绍面向深度学习应用开发的编程模型和编程接口。第4章从计算图的构成、分类、转换和分析4个角度,介绍深度学习编译器前端的工作流程。第5章从中间表示的概念、分类和设计3个角度,分析深度学习编译器中间表示的设计方法和重要作用。第6~12章介绍深度学习编译优化,包括自动微分、计算图优化、内存分配与优化、算子选择与生成、代码生成与优化、自动并行及模型推理等。

本书可作为计算机科学与技术专业、软件工程专业的教学参考书,也可供人工智能大模型性能优化人员参考。

人工智能是引领未来的战略性技术，是新一轮科技革命和产业变革的核心驱动力，同时也是发展新质生产力的主要阵地。然而，人工智能大模型的参数规模越来越大，大模型的训练和推理过程消耗的计算资源也越来越多。为了高效地完成大模型训练和推理的计算任务，人们不断研发性能更高、结构更复杂的计算加速器件，对深度学习编译器的需求也愈加迫切。面向深度学习应用领域的深度学习编译器是充分调度算力、发挥硬件潜力的枢纽，是解决深度学习大模型在硬件平台上训练和部署任务的关键系统软件。

对初学深度学习编译器优化的读者来说，编者建议按章节顺序仔细阅读，循序渐进地理解深度学习编译器设计的思路。而对具有一定深度学习应用优化基础的读者，可按需求选择性阅读。

本书由先进编译实验室科研人员，在长期国产编译器开发及大量编译优化技术实践的基础上完成。先进编译实验室长期致力于编译优化、程序优化等工作，先后承研国家重大专项、核高基专项、973计划、863计划、自然科学基金等相关课题，在国产编译器研发、编译系统优化、基础数学库、图形图像库、算子优化库、二进制翻译与移植等相关领域已经形成若干领先成果，曾获国家科学技术进步奖一等奖、省部级科学技术进步奖一等奖等奖项。

深度学习编译是一个博大精深且正在快速发展的领域，许多深度学习编译优化技术是实践中不断尝试与积淀的。本书的写作初衷旨在分享编者在深度学习编译领域的学习心得，虽然编者已尽全力确认书中的每个细节，但限于编者水平，书中难免存在缺点和不足之处，甚至可能存在错误，殷切希望各位读者能够批评、指正，提出宝贵的意见，以便再版修正。

2024年11月先进编译实验室

你还可能感兴趣

我要评论