本书是“银行业信息化丛书”之一,数据治理是银行业面对的一个崭新课题,本书从银行业数据基本概况、数据治理现状,以及银行业数据治理体系、数据架构、数据标准——元数据管理、数据安全、银行业数据质量管理体系等方面入手,深入分析了银行业如何构建一个适合的管理体系,使数据采集与管理、数据标准与清洗、数据挖掘与应用顺畅实现,从而提升数据价值,创造更大的价值,并对大数据时代下的数据治理和挑战进行了探讨。
前言
全球已进入信息高速发展的时代,信息化是当今世界发展的根本趋势,是推动经济社会变革的重要力量。我国在2006年发布了《2006—2020年国家信息化发展战略》,对我国的信息化发展进行了战略指导。
为贯彻国家信息化发展战略要求,推进落实银行业信息化战略,在银行业信息科技风险管理高层指导委员会指导下,我们着手编写“银行业信息化丛书”,深度挖掘、研究、总结、提炼和传播国内外信息化最佳实践、宝贵经验和最新成果,内容涵盖了银行业信息科技治理与管理、信息系统开发与应用创新、信息安全、基础设施与运行维护、信息科技监管等主要领域,将为银行业信息科技人才培养提供基础性、前瞻性、实用性的知识和信息。《银行数据治理》的核心是阐述如何对银行数据进行全面管理,创造价值,为银行业务发展提供全面、高效的数据支撑。
商业银行在业务开展过程中积累了海量的数据,如客户数据、业务交易数据、内部管理数据、外部数据、系统日志等。这些数据是银行最为重要的资产之一,是银行支持精细化管理、实现差异化服务、提升风险分析能力的基础。然而,海量的数据不仅意味着海量的机遇,也意味着无限的风险。目前,我国商业银行普遍面临着数据质量不高、数据支持决策能力不足等问题,导致数据远未发挥其应有的价值,并已经成为银行提高自身竞争力的巨大障碍,主要表现为:缺乏整体数据治理战略和文化、数据治理管理流程和职责划分不清、数据标准不统一、数据质量不高、缺乏配套的技术和系统支撑等。
如何开展数据治理,实现数据对业务的价值创造,是银行信息化建设中要破解的一道难题。《中国银行业信息科技“十二五”发展规划监管指导意见》指出:“商业银行要重点加强对数据治理的制度建设和流程建设,建立和完善数据治理制度体系,规范工作流程,理顺内部协作关系,提升数据质量和数据应用水平,提高数据价值创造能力。”数据治理需要一个完整的治理体系,并从战略、机制、领域、技术等方面予以支撑。
在信息化快速发展的今天,银行的发展要靠数据,数据要靠治理,治理需出成果,成果需要在实际应用中体现,而应用应与银行的整体发展战略契合,总结起来即为“银行靠数据、数据靠治理、治理出成果、成果靠应用、应用看前景”。
本书通过阐述数据治理的概念和范围,回顾我国银行业数据治理历程,结合分析各商业银行当前面临数据治理现状,全面阐述了商业银行数据治理体系,提出以战略、机制、领域、技术为支撑的从上至下指导、从下而上推进的实施原则,着重阐述建立多层次、多维度、多视角的全方位商业银行数据治理体系框架,包括但不限于:以企业战略对数据治理的目标及规划为指导,以配套的数据治理流程为推力,涵盖完整的数据治理领域,积极利用系统和技术手段保障数据治理的有效开展与落实。
全书共有13个章节,总体内容结构如下:
第1章:银行的数据。阐述什么是数据以及数据对银行的作用,还介绍了银行的数据包括什么、有什么特点、管理上存在什么不足,从而使读者对银行的数据有一个大概的了解。
第2章:银行数据治理概述。阐述银行数据治理的背景、目标及价值,从数据治理的发展和现状出发,思考如何对银行的数据进行治理。
第3章:银行数据治理保障机制。介绍确保银行数据治理工作能够得到有效落实的保障措施,包括战略层面、组织机构、制度章程、支撑系统等各个方面。
第4章至第12章,具体介绍了银行数据治理各个核心领域(包括数据模型、元数据管理、数据标准、数据质量管理、数据生命周期管理、数据分布与存储、数据交换、数据安全、数据服务)目前存在的问题、治理难点、应对措施,使读者了解到每个领域的数据治理应该涉及什么样的工作、应该注意哪些细节,从而为实际的数据治理实施提供具体的指导方法。
第13章:数据治理展望。数据治理的成效要靠数据发挥的价值来体现。本章介绍了在大数据时代如何进一步加强数据治理、如何有效地利用数据,并以大数据在金融界的实际应用案例生动地说明了只有高质量的数据才能发挥数据的最大价值。
本书在编写过程中得到了银监会各级领导的大力指导,得到了银行业同行的有力支持,编写组所有人员也付出了辛勤汗水,在此对所有编写与指导人员表示衷心的感谢,包括中国工商银行的张艳、张颖、罗毅、李伟良、王涛、李甲长、王鹏、乔敏、杨明伟、肖睿、郭斯、巩垒、王超、袁如怡、高继荣,中国银行的张建游、王玮、曾玉、武晓利、刘晓波,中国邮政储蓄银行的汪航、呙亚南、张放、朱昌堆、陈元星,大连银行的石立军、于琦等。
尽管编写人员都投入了大量的精力,付出了艰辛的劳动,然而由于水平和能力所限,书中错误和疏漏之处在所难免,恳请大家批评指正。
编者
总序
序
前言
第1章银行的数据1
1.1数据、信息和知识1
1.2银行的数据及作用3
1.2.1银行数据的来源及特征3
1.2.2数据对银行发展的重要作用7
1.3银行数据管理存在的不足10
第2章银行数据治理概述15
2.1银行数据治理的背景16
2.2银行数据治理的目标与价值19
2.3银行数据治理的历史与现状21
2.3.1国际社会数据治理发展历程21
2.3.2我国银行业数据治理前进之路23
2.3.3我国银行数据治理的现状26
2.3.4银行数据治理的思考28
2.4建立银行数据治理体系30
2.4.1银行数据治理保障机制32
2.4.2银行数据治理核心领域33
第3章银行数据治理保障机制36
3.1企业发展战略36
3.1.1数据治理文化36
3.1.2认知与行动37
3.2数据治理组织37
3.3数据治理制度章程39
3.4数据治理流程41
3.5数据治理支撑系统42
3.6数据治理成熟度模型42
第4章数据模型45
4.1数据模型体系45
4.2数据建模的方法、原则及意义47
4.3数据模型建模要求48
4.4数据模型设计实例50
4.5非结构化数据模型60
4.6数据模型主题61
第5章元数据管理63
5.1元数据管理概述65
5.2搭建元数据管理体系67
5.3主要元数据对象的管理70
5.4非结构化数据的元数据管理74
5.5案例75
第6章数据标准76
6.1银行数据标准的现状76
6.2银行数据标准的定义与分类78
6.3银行数据标准建设80
6.4非结构化数据的数据标准管理86
6.5案例87
第7章数据质量管理90
7.1商业银行数据质量存在的问题及影响90
7.2建立全面管控的数据质量管理体系95
7.3非结构化数据的数据质量管理102
7.4案例103
第8章数据生命周期管理105
8.1数据生命周期管理及意义106
8.2银行业数据生命周期管理的现状107
8.3建立数据生命周期管理体系108
8.4案例118
第9章数据分布与存储120
9.1商业银行系统数据存储管理121
9.2商业银行系统数据分布126
9.2.1总分行数据分布126
9.2.2商业银行系统主副本数据源分布126
9.2.3商业核心银行系统与外围系统间的数据分布128
9.3案例128
第10章数据交换131
10.1制定数据交换的标准132
10.2搭建数据交换体系和数据交换系统应用135
10.3全流程数据流管理138
10.4外部数据交换139
第11章数据安全141
11.1数据安全及重要性141
11.1.1数据安全的概念141
11.1.2数据安全的重要性143
11.1.3数据安全的发展历程144
11.2数据安全领域及管理145
11.2.1数据存储安全145
11.2.2数据传输安全149
11.2.3数据使用安全151
11.3案例154
第12章数据服务158
12.1银行在大数据时代的战略应对措施158
12.2构建大数据服务体系161
12.2.1结构化数据处理系统162
12.2.2非结构化数据处理系统164
12.2.3流数据处理系统165
12.3数据资产视图167
12.4大数据在银行业的应用170
12.4.1国内外银行业大数据应用案例170
12.4.2银行业大数据应用场景171
第13章数据治理展望175
13.1构建银行数据治理的长效机制175
13.2大数据时代的银行数据治理176
13.3大数据时代的银行数据利用176
附录180
附录A《中国银行业信息科技“十二五”发展规划监管指导意见之大型商业银行和股份制
商业银行篇》(摘录)180
附录B《贷款统计分类及编码标准(试行)》(摘录)190
附录C《银行监管统计数据质量管理良好标准(试行)》(摘录)192
附录D推荐读物195
参考文献196