本书以 BI 负责人的视角介绍 BI 分析师的核心工作和应具备的核心技能,并分析 BI 创造价值的专题,理论和实例并重。全书分为四部分:
第一部分(第 1、2 章)为 BI 概述与团队组建,从介绍 BI 分析的基本概念说起,包含BI 职责与数据驱动的概述,以及组建团队时需要考虑的能力模 型、团队选型、团队管理。第二部分(第 3、4 章)为 BI 体系搭建基础知识,包括数据获取与管理,指标体系的概念、设计模型与使用场景。第三部分(第 5 ~ 9 章)为 BI 创造价值专题,包括增长、价值主张、盈利、体验、风控五大专题。第四部分(第 10、11 章)为回顾与展望,从衣、食、住、行、学五个方面回顾数据已经带来的变化与未来可预期的变化,最后从进化的视角探讨应对人工智能范式转移的策略。
对于想要通过数据驱动业务、改善决策质量的互联网从业者来说,本书应该是一本非常实用的参考书。
深入阐述BI团队应发挥的核心价值;
全书贯穿电商、教育、外卖领域的实操案例;
剖析BI指标体系的设计模型与使用场景;
五大专题详述BI如何创造业务价值;
致谢
这本书能够与读者见面,得益于我有幸遇到的卓越人物。
首先,要感谢帮助我建立数据素养的人。我要感谢 Michael Truffa,他在十年前就看到了机器学习的潜力,并在全球范围内领导团队转型,让我从关注因果关系转向关注模式识别。还要感谢张晨,他启动了京东大脑项目,在全公司范围内推动了数据与业务的融合,因为我有幸参与了这个项目,从而见识到数据在释放生产力方面的巨大潜力。还要感谢碧波,他带领团队挺进无人区,挑战行业顽疾,不断打破边界,教会我探索未知领域的基本技能。此外,还要感谢那些未曾亲见的行业引领者,特别是陆奇、吴恩达、吴军,他们对这个世界的不懈探索和睿智指导,激励着所有从业者不断向前迈进。
然后,要感谢在工作中给我支持和指引的人。在数据驱动的世界中,得到业务一把手的支持需要靠实力,也拼运气。如果业务领导不关注效率,那么提升效率就无法得到有效的资源支持,从而变得无从发力。我要真诚地感谢大罗,他以技术和数据为驱动,打造了一家备受尊敬的教育公司。他的努力使我们有机会优化运营效率,并深入研究数据驱动的学习方法,不断探索新方式来提升学习效率和教育效果。
同时,需要衷心感谢 Joe 和娜姐,他们始终坚持以业务结果为导向,聚焦业务增长、用户体验优化与运营效率提升,他们引领业务向前的卓越的领导力使我们在数据驱动业务的路上走得更加坚定。也请允许我跨时空向暴躁的贝多芬和米开朗琪罗、俊美的羽生结弦、神奇的马斯克致敬,他们不妥协的精神鼓舞我前进;感谢 UCLA 的传奇篮球教练约翰·伍登,感谢传奇足球教练若泽·穆里尼奥,教会我带队作战的基本原则。
第三,要衷心感谢一路关注与支持我的良师和益友。晶晶把每一位成员培养为准团队领导者的实践,为我较快地成长为团队负责人奠定了基础。温文尔雅却从不妥协的 April(李萌)让我亲眼见证了基于信任的、温柔却坚定的领导力。我还要感谢谢大人、小鹏总、罡叔和大宽,他们虽然在批评时从不手软,但在真的需要帮助时从来不吝惜援手。感谢有趣而充满活力,并时常用独到的视角观察世界的 Amy(阿溥)、郭麟、元奎,虽然我们共事时间不长,但他们总是以真诚和开放的态度与我互动,使我始终保持对前沿科技与业界最佳实践的敏锐。感谢给力的合作伙伴亮哥、文帅、俊辰,他们深厚的技术功底和始终秉持合作的团队精神让合作顺利而高效。还要感谢我亲爱的海兰姐、雪莲姐、Sue 前辈、金闻前辈、美丽的翠铭和彩文,在职业发展的各个阶段都给予我指导和建议,监督和引导我做出更好的决策,使我敢于挑战许多我曾经认为不可能的目标;也要感谢牙牙、剑莹、静静、兰兰、长祐、金成、大吉、崇兰、美玲、金靖和虹虹,在这纷繁复杂的世界里始终坚守初心,与我并肩抵抗日常的损耗。
第四,感谢那些始终不离不弃的团队小伙伴们。我要特别感谢亲爱的丹阳、令彤、宇帆、熙若、佳琪、小蘑菇、何雨、麒粱、侯睿、兴权、孙畅、丹丹、佳佳以及其他所有团队成员,他们一直以来的支持和合作让我深感温暖和感激。他们跟随着我一路前行,而这并非总是一件轻松的事情。正是他们出色的技术储备和卓越的职业素养,使我们得以肩并肩,为团队的共同目标努力奋斗,不断打怪升级。我也要特别感谢程露、Kathly、Samuel、Lody、东杰、明伟,是他们的专业素养、协作精神,提升了跨端、跨职能部门协作的确定性,激发了更广范围内的合作动力。
第五,特别感谢吕云彤,我完全出于自愿主动地为她写单独一行。
此外,我还要感谢素未谋面的 Jana Schaich Borg 教授(杜克大学)、Paul Bendich 教授(杜克大学)、Gilbert Strang 教授(MIT)、Ben Polak 教授(耶鲁大学)、Stephen C. Stearns 教授(耶鲁大学)、Hsuan-Tien Lin 教授(台湾大学)、Scott E. Page 教授(密西根大学)、吴恩达教授(斯坦福大学)、Robert Sapolsky 教授(斯坦福大学)、Esther Duflo 教授(MIT)、Benjamin Olken 教授(MIT),感谢他们无私分享知识和经验;也要感谢 Cousera、Edex 等在线教育平台提供了几乎所有我想学的课程,同时感谢 B 站的小蜜蜂们孜孜不倦地搬运优秀学习资源。
最后,由衷地感谢王中英老师。她以出色的编辑能力和专业素养,以及对细节的严谨把控和耐心的指导,使语言的力量得以释放。若不是王中英老师的认真与耐心抓住了我跳跃的思维,这些信息可能只会止于我的个人经历,无法以一种通俗易懂的方式传达给其他人。我希望能有更多机会与她合作,共同创造更多优秀的作品。
借用后滨老师的话结尾:时代的局限才是真的局限。只要不是时代的局限,就不是局限。
感谢卓越且认真的你们。
前言
写作理由
写书的过程比我预想的更加艰难和耗时,但我坚持下来的主要原因有以下几点。
首先,我发现在大多数业务场景下,数据驱动的运营效率远高于单纯依赖领域经验的运营效率。我掐指算了算,自己从京东到华为、VIPKID、火花思维再到滴滴,从事互联网数据分析已经快十年了。我做职业规划时有意识地做了领域交叉,从需求侧到供给侧、从互联网到传统企业、从国内市场到国外市场均有涉及。虽然每次遇到的具体问题都有所不同,但回顾过去的经历,我发现在每个领域都证实了业务领域与数据科学的结合可以释放巨大的生产力。数据在某种意义上是客观世界的映射,数据驱动实际上就是借助客观世界的映射来推动业务发展。相比之下,人的经验参差不齐。如果旧知识和客观世界的映射相冲突,客观世界就会占优势。因此,我认为数据驱动的价值在于让我们尽可能接近客观世界,从而做出更符合客观世界的决策。而这种决策也必然更有利于我们创造价值,这也是我喜欢数据的原因。
其次,我发现数据驱动业务的经验是可复制的。根据事情的确定性,我习惯性地将事情分为两类:一类是探索型的、创造性的,即这件事情没有发生过,也许理论上可行,但还没有人实现过。例如马斯克的 SpaceX 和特斯拉,这一类事情的不确定性极高,只有少数人才有做成这一类事情的能力。另一类是有边界、可描述、之前发生过的事情。这一类事情具有相对高的确定性,面对这类事情,要求参与者通过不断地学习最佳实践来实现价值创造。这两种价值创造方式都是有意义的,前者需要一些天赋且未必能做成,但会增加这个世界的可能性;后者则需要不断努力和学习才能达成,会提高这个世界运转的效率。数据驱动业务属于后者,通过不断努力和学习是可以达成的,且能提高实现新可能性的效率。
最后,我认为现在是一个非常适合共同拥抱数据的时机。《十四五数字经济发展规划》将数字经济提升到国家战略的层面。ChatGPT 的出现让我们重新审视了数据和人工智能的巨大潜力,我们必须应对接下来可能发生的范式转移的变化。耶鲁大学的 Stephen C. Stearns 教授在总结进化史中的关键事件时,提到了生命的起源、原核生物的循环、真核生物的出现、光合作用和多细胞生物的出现等几个标志性的事件,并总结了几次关键进化中出现的共同原则:进化的瞬间会伴随层级的增长,层级复杂之后会伴随新的社会分工,信息传输系统将会发生巨大变化。通常在形成更高层级的过程中,上一个级别需要合作才能组成更高级别的单位,从而实现新的系统功能。随着 AIGC 的出现,现在看起来似乎不仅仅是人类会主动产生内容,算法也可以。而且基于人类的创造系统与 AIGC 的创造系统之间也可能存在某种协作与竞争。从微观上看,熟悉数据会给个人带来一定的竞争优势;从宏观上看,它可以提高我们的合作程度,提高我们作为一个整体系统在竞争中的表现。
写作思路
数据驱动业务本身是一件复杂的事情,成败受诸多变量影响。作为核心的驱动源,BI 团队的核心竞争力不仅仅是代码效率,更重要的是团队可以用数据的视角观察世界。BI 团队能找到多少数据驱动业务的机会点,能把握多少机会点、把握到什么程度,基本奠定了数据驱动的深度和广度。
鉴于此,本书主要从数据的视角出发,引用电商、教育、外卖实操经验,带读者一起挖掘可以提高业务各环节效率的支点,例如通过数据提高决策质量、驱动增长、强化价值主张、提升盈利能力、改善用户体验、实现风险控制等,并尽可能包含常用的思维模型、算法模型、决策模型,以及 BI 团队与业务、产品团队协作并影响业务决策的方法论。
这本书的写作思路是按照我从零搭建数据分析团队,并带领团队在公司内实现数据驱动业务时需要做的决策、完成的任务来梳理的。全书分为四部分:
● 第一部分(第 1、2 章)为 BI 概述与团队组建,从介绍 BI 分析的基本概念说起,包含 BI 职责与数据驱动的概述,以及组建团队时需要考虑的能力模型、团队选型、团队管理。
● 第二部分(第 3、4 章)为 BI 体系搭建基础知识,包括数据获取与管理,指标体系的概念、设计模型与使用场景。
● 第三部分(第 5 ~ 9 章)为 BI 创造价值专题,包括增长、价值主张、盈利、体验、风控五大专题。
● 第四部分(第 10、11 章)为回顾与展望,从衣、食、住、行、学五个方面回顾数据已经带来的变化与未来可预期的变化,最后从进化的视角探讨应对人工智能范式转移的策略。
对于想要通过数据驱动业务、改善决策质量的互联网从业者来说,本书应该是一本非常实用的参考书。对于非互联网领域的从业者,如果希望通过数据驱动来推进企业数字化转型或提高运营效率,本书也是一本有价值的参考书。
感谢本书的合作者:吕云彤、孟令桐、李丹阳、杨文帅、陈翠铭、韩彩文、吕晶晶和朴元奎。
只要有无效的市场存在,就有技术和数据可以提效的空间。希望通过本书内容的分享,降低数据驱动业务的认知和操作门槛,让更多领域都能开出数据的小红花,实现更广范围的数据驱动业务。
都美香
2024 年 1 月
正在攻读杜克大学跨学科数据科学硕士(MIDS)项目,拥有中国人民大学历史专业本科学位。曾在滴滴担任国家决策支持部负责人,兼任日本、巴西外卖分析团队负责人;火花思维商业智能部负责人;VIPKID高级数据分析经理;华为担任高级工程师。带领团队在零售、教育、外卖等领域实现数据驱动,在供给侧与需求侧、互联网与传统企业、国内和国际业务领域都积累了丰富的实战经验。
第一部分? BI 概述与团队组建
第 1 章? BI 分析概述? /? 2
1.1 从分析的概念说起 / 3
1.1.1 常见的分析概念 / 3
1.1.2 BI 分析的概念 / 8
1.2 BI 分析行业现状与 BI 的职责 / 9
1.2.1 没有什么不在被数字化 / 9
1.2.2 我们相信上帝,但其他人必须提供数据 / 14
1.2.3 BI 团队的职责 / 15
1.2.4 BI 团队的常见分类 / 16
1.3 数据驱动概述 / 17
1.3.1 数据驱动业务的衡量维度 / 17
1.3.2 数据驱动业务的大体流程 / 19
第 2 章? 组建 BI 团队? /? 22
2.1 人:数据分析师画像 / 23
2.1.1 分析师通用能力 / 23
2.1.2 不同部门对应的 BI 分析师特征 / 24
2.1.3 不同任务属性对应的 BI 分析师特征 / 25
2.2 BI 团队的架构设置与部门间协作 / 27
2.2.1 BI 团队外部架构 / 27
2.2.2 BI 跨部门协作机制 / 29
2.3 团队管理 / 32
2.3.1 团队选型 / 32
2.3.2 团队运作机制 / 36
第二部分? BI 体系搭建基础知识
第 3 章? 数据获取与管理? /? 40
3.1 数据采集(以外卖业务为例) / 41
3.1.1 数据源类型 / 41
3.1.2 数据源的信息结构 / 44
3.1.3 数据传输与存储 / 46
3.2 数据质量管理 / 49
3.2.1 数据质量标准 / 49
3.2.2 数据质量治理 / 50
3.3 新型数据源 / 52
3.3.1 关注传感器的数据 / 52
3.3.2 音频、视频等非结构化数据的解析与应用 / 53
3.3.3 标注数据 / 55
第 4 章? 搭建指标体系? /? 57
4.1 指标体系的概念、作用和衡量标准 / 58
4.1.1 指标体系的概念 / 58
4.1.2 指标体系的作用 / 60
4.1.3 指标体系的衡量标准(以外卖场景为例) / 64
4.2 指标体系的设计模型 / 66
4.2.1 第一关键指标法(以电商和在线教育为例) / 67
4.2.2 OSM 模型(以在线教育为例) / 69
4.2.3 AARRR 海盗指标法(以在线教育为例) / 73
4.2.4 用户旅程地图模型(以电商为例) / 75
4.3 指标体系的开发流程 / 78
4.4 指标体系的使用场景(以外卖业务为例) / 78
4.4.1 日维度业务监控 / 78
4.4.2 周维度业务诊断 / 80
4.4.3 月维度业务复盘 / 82
4.4.4 支持日常业务决策 / 84
第三部分? BI 创造价值专题
第 5 章? 专题:增长? /? 88
5.1 概念 / 89
5.1.1 增长黑客的概念 / 89
5.1.2 增长金字塔:找到市场契合点和价值投递引擎 / 90
5.1.3 增长黑客的运营机制 / 92
5.2 数据科学的演绎 / 95
5.2.1 人工智能的高光时刻 / 95
5.2.2 提炼算法替代决策的机会点 / 96
5.2.3 2% 的人通过机器控制 98% 的人 / 97
5.2.4 提问题的能力才是核心能力 / 99
5.3 数据驱动增长的案例(以在线教育为例) / 101
5.3.1 获客:注册 / 102
5.3.2 激活:转化 / 103
5.3.3 留存:退费 / 104
5.3.4 盈利:续费 / 105
5.3.5 传播:转介绍 / 107
5.3.6 附:增长分析中常用的算法模型 / 108
第 6 章? 专题:价值主张? /? 110
6.1 实现价值主张的分析方法 / 111
6.1.1 第一性原理:抓住本质 / 111
6.1.2 爬楼梯策略:穷尽方法 / 113
6.2 数据驱动价值主张的实现(以在线教育为例) / 115
6.2.1 提高运营效率 / 115
6.2.2 提高学习效果 / 118
6.3 数据驱动价值主张的实现(以外卖业务为例) / 122
6.3.1 外卖平台的出现是社会的进步 / 122
6.3.2 多、快、好、省 / 123
第 7 章? 专题:盈利? /? 130
7.1 盈利能力分析 / 132
7.1.1 传统的盈利能力分析:赚更多钱 / 132
7.1.2 新业务的盈利能力分析:赚 1 块钱 / 133
7.2 制定业务目标 / 135
7.2.1 制定目标的格栅思维 / 135
7.2.2 目标预测的模型类型 / 136
7.2.3 制定目标的决策体系:格栅模型 / 143
7.2.4 目标管理的长远意义:锻造持续成功的团队 / 145
7.3 增长结构优化 / 146
7.3.1 增长引擎的类型 / 146
7.3.2 数据驱动增长引擎(以在线教育业务为例) / 147
7.4 单位经济效益优化:毛利分析 / 150
7.4.1 确定毛利目标(以外卖业务为例) / 150
7.4.2 优化毛利结构(以外卖业务为例) / 152
第 8 章? 专题:体验? /? 157
8.1 用户体验概述 / 158
8.1.1 概念 / 158
8.1.2 度量模型 / 158
8.1.3 用户体验分析方法 / 161
8.2 用户体验分析应用 / 162
8.2.1 搭建体验指标体系(以外卖业务为例) / 162
8.2.2 问卷调研 / 163
8.2.3 KANO 模型 / 166
8.2.4 文本挖掘 / 168
8.2.5 关联用户行为与评价、调研 / 170
第 9 章? 专题:风控? /? 172
9.1 概述 / 174
9.1.1 风控的概念 / 174
9.1.2 风控的特征 / 174
9.1.3 风控不利可能造成的影响 / 176
9.2 风险感知(以外卖业务为例) / 177
9.2.1 扫描业务流程与策略,锁定风控点 / 177
9.2.2 异常值分析与离群点监测 / 179
9.2.3 客服数据监测 / 180
9.3 风险分析(以外卖业务为例) / 181
9.3.1 描述性分析 / 181
9.3.2 根本原因分析 / 183
9.3.3 共同因素分析 / 184
9.4 风险治理 / 186
9.4.1 治理的环节 / 186
9.4.2 治理的策略 / 187
第四部分? 回顾与展望
第 10 章? 数据驱动随处可见? /? 190
10.1 衣 / 191
10.1.1 SHEIN 是什么 / 191
10.1.2 SHEIN 的数据驱动的运营机制 / 192
10.2 食 / 196
10.2.1 编辑基因获得更好的西红柿种子 / 196
10.2.2 数据驱动,提高种植效率 / 197
10.2.3 数据驱动,提高交易效率 / 199
10.2.4 数据驱动,提炼市场信号 / 200
10.3 住 / 201
10.3.1 比尔·盖茨的未来之家 / 201
10.3.2 交互:基于语言交互的智能音响 / 202
10.3.3 领会意图:环境计算 / 203
10.4 行 / 205
10.4.1 拥有不出行的选择:在线生活和工作 / 205
10.4.2 提高出行效率:网约车平台 / 206
10.4.3 智慧交通:单车智能、车路协同 / 208
10.5 学 / 209
10.5.1 搜索信息 / 209
10.5.2 在线教育 / 211
10.5.3 人工智能与教育 / 212
第 11 章? 数量与质量:结合人工智能的竞争优势? /? 216
11.1 科学 / 217
11.2 还原 / 218
11.3 变异 / 219
11.4 概率 / 220
11.5 涌现 / 221
11.5.1 层创进化 / 221
11.5.2 吸引与排斥 / 222
11.5.3 元素与网络 / 223
11.6 智能 / 225
11.6.1 人类和果蝇有什么差别 / 225
11.6.2 人类和黑猩猩有什么差别 / 225
11.6.3 人和机器有什么差别 / 226
11.6.4 结合人工智能的竞争策略 / 226