数据模型与数据治理(三)| 渐进实现企业数据模型
金融科技
2024.06.21

导语:


随着越来越多的企业认识到数据作为生产要素的价值,加快了企业数字化转型,把完善企业级的数据治理体系作为企业数字化转型的一个目标。长亮科技在大数据领域始终保持足够的技术敏锐度,并积累了丰富的经验与资产。为此,我们组织了一个系列专文,分期发表,与您一起探索更适合当下行业发展的数据观,欢迎大家持续关注。


作者|长亮科技大数据研究院

内容|本篇共4730字,预计阅读时间18分钟


点击下方图片回顾往期内容



既然企业数据模型如此重要,为什么许多企业不启动企业数据建模呢?


企业对企业数据模型的认知与行动,整体上可以概括为以下四类:


l 企业数据模型的少数先行者。他们经历了多年的训练,积累了丰富经验,也吸取了深刻教训,企业有能力,有动力,管理层有魄力,集中了业务与数据领域精兵强将,投巨资开发了企业逻辑数据模型,并以此指导数据领域有序开展工作。


l 拿来主义跟随者。这些企业不想重走先行者的老路,希望购买企业数据模型直接用于指导数据领域工作,期望快速见效。


l 清醒的务实者。这些企业认识到了企业数据模型的价值以及建模的重要性与急迫性,也充分估计到实现的复杂性与高风险,对自身团队能力以及可投入资源有清醒的认识,暂时没有采取实质行动。


l 某些企业不了解甚至不认可企业数据模型的价值,认为企业数据模型约束开发人员,延缓开发进程,阻碍业务创新发展。这些企业往往历史沉淀积累少,可用资源不足,快速变化已成惯性。


金融行业进行企业级数据治理与建模是监管需要,也是支持未来长期发展的需要。不管企业数据现状能力如何,都可以在开发企业数据模型方面有所作为。


在实施建设企业数据模型之前,对实施的目标与路径应该有清醒的认识。



01

不要试图一次性对企业数据建模


早在 20 世纪 80 年代初期,一些组织开始实施企业逻辑数据模型,遵循当时的最佳实践,试图一次性对整个企业数据进行建模,80 年代末许多项目因为资金紧张停止了。40年后,虽然数据管理、数据治理、数据架构、主数据管理、元数据管理、数据建模等数据管理知识体系已经日趋完善,但现实仍面临许多挑战,不能支持在一个项目中一次性实现企业数据建模。


l 团队组建、参与、协调推进难。为了开发、维护和丰富扩展企业数据模型,需要组建大型专业与管理团队,协调所有主要参与者一起参与整个数据建模过程,否则数据模型是不完整的。这些来自各个部门的业务领域参与者(如,各种数据所有者、数据管理员、数据消费者),基本都是业务骨干,无法脱产全程专职参与,很难有效推进工作。


l 历史与现状问题难以解决。要找到并解决当前业务人员之间存在的所有相互冲突的数据视图和业务规则需要花费太长时间,找到并解决目前系统之间存在的所有数据冗余和数据不一致问题需要更长时间,很多问题很难彻底解决,除非重构系统。


l 建设周期长,见效慢。因为建设周期太长,会延迟新系统的实施(除非冻结需求,但是监管等需求不允许推迟)。业务人员与管理层看不到企业数据建模者对利润的贡献,很可能失去对项目的支持。


l 企业数据模型设计没有终态,需要持续发展。在满足企业现状的同时,关注行业正在发生的变化,考虑业务未来发展的前瞻性,定期更新改进。也因此模型设计需要采用科学的设计模式,以保障模型的稳定性、可扩展性。


因此,建议各企业采用增量迭代方法构建企业数据模型,两个模型之间的任何差异、歧义或不一致都将呈现给参与者协商解决,每次迭代投入少,时间短,都可以获得增量价值(并及早发布使用),随着时间的推移,各种与企业数据模型脱节的特定项目数据模型将减少,逐步实现企业数据模型与模型价值。





02

不要企图构建完整的企业数据模型


没有任何企业数据模型可以定义所有可能存在的数据实体与属性,不要企图,也没有必要定义企业所有的数据构建完整的企业数据模型。


l 如果需要企业数据模型管理所有数据的创建与维护,模型本身将成为数据开发与使用的瓶颈,可能还没有发布就已过时,因为企业数据结构与需求已经发生了某些变化(并没有遵守企业数据模型),企业数据模型也不能准确反映当前的业务与数据。


l 业务系统与数据应用系统要快速响应业务与监管需求的发展变化,如果模型包含过多细节,将延误系统开发进度,影响正常的业务工作开展,束缚业务创新,企业数据模型对这些系统将事实上失去作用。


l 模型设计初期首先设计关键实体,收益的增加超过成本的增加。后期边际收益随着模型的丰富而下降,可能因为管理一些不重要的数据,边际成本大幅度增加,但没有带来相应的边际收益。



数据仓库之父Bill Inmon认为企业数据模型包括关键主题领域、与业务运营关注的关键实体,为每个关键实体创建详细的逻辑模型。数据建模领域著名专家Steve Hoberman建议仅在主题域级别创建企业数据模型,级别越高越稳定。一些企业有稳定成熟的组织、业务、流程,随着时间推移,应向下细化,达到企业逻辑数据模型。



03

正确使用外购数据模型


从需求说明书、业务手册、行业规范等内部、外部文档资料以及通过头脑风暴、研讨会、访谈等方式,识别业务关注的内容,提取关键概念,从零开始设计企业数据模型,工作效率低,进展缓慢。可以自上而下借鉴外部成功的产品与经验,自下而上从当前数据反向工程设计企业数据模型。


l 借鉴成熟的行业数据模型。这些行业数据模型产品包括主题模型、概念模型、逻辑模型完整的模型组件,提供主题域、实体、属性的定义以及分类与关系等业务规则,已经经过许多企业验证,可以作为企业数据模型的关键输入或作为参考目标以评估现状、确定差距,根据企业自身业务与条件进行裁剪或扩充,从而缩短周期,减少成本,降低风险。行业数据模型一般都采用抽象与范式的设计模式以提升模型的稳定性、可扩展性,专业设计门槛要求比较高。


l 借鉴外部特定企业的数据模型。这些模型一般也是基于行业数据模型客制而来,大量通用设计被隐藏,突显该企业特点与设计师个性化设计,其参考价值可能没有原行业数据模型高,要慎重引入与科学参考使用,如果不考虑差异而教条照搬,可能浪费资源与时间,降低实施效率。如,大型银行的业务产品线全面,自主开发能力强,主数据、参考数据管理成熟,有强大的组织与资源支持;而中小银行的业务产品线比较狭窄,组织规模、结构、分工甚至业务流程都存在差异,开发主要依赖第三方,资源支持能力相差悬殊。



没有一套行业数据模型能完全切合该行业所有企业,没有任何一套外购的逻辑数据模型是完美的,尝试完全重用其他企业的数据模型可能不起作用。



04

不要企图越过模型设计的某个阶段


企业数据建模需要经历主题模型、概念模型、逻辑模型三个不同详细级别的设计阶段,每个阶段的输出是下一阶段的输入,每个阶段对于整个模型的构建以及对数据的理解都很重要。


l 每个企业数据模型组件,都有其受众群体以及数据管理的用途。以企业数据模型指导数据资产盘点为例,首先对资产按主题分类,然后与概念模型实体映射,在概念级别确定哪些是关键资产与垃圾资产,这样就不需要投入大量资源去做垃圾资产字段级的梳理了。


l 许多实践忽视了主题模型与概念模型的设计,直接设计逻辑模型。模型是语义理论的基本原则与数据建模的基本原则相结合的结果,概念模型是逻辑模型设计的基础,概念的内涵与其表达的外延应该一致,一旦模型设计进入逻辑设计阶段,说明干系人已经对概念模型达成了一致的理解。主题域是数据的高级分类,所有数据对象都与数据主题域绑定。定义和命名每个主题领域的过程很重要,因为它提供了在业务边界之间就对组织至关重要的主题达成共识的机会。主题模型与概念模型是稳定的数据架构基础,如果不设计主题与概念模型,让用户直面数万属性项的Excel逻辑模型,许多用户可能对一些概念有各自的理解而无法沟通交流,逻辑模型也可能因为自身的种种问题而崩塌。


l 外购数据模型不能减少企业数据建模的过程。即使外购数据模型,也需要一个消化吸收的过程,从头开始开展工作,对每个主题与关键实体、属性以及业务规则,根据企业的实际情况进行调整,并在数据社区宣传,获取反馈,以期达成干系人一致的理解与共识。



05

建立数据管理职责分配矩阵


数据模型是业务人员与技术人员的接触交互点,数据主题领域、实体、属性,是数据管理的不同详细粒度。模型设计过程需要业务参与分工,根据企业规模、数据管理成熟度等,设置数据管理的角色,赋予相应的管理职责与内容,最大限度地提高管理数据质量、价值、可用性和安全性的有效性和效率。


l 数据管理专员以整个企业的视角来帮助打破数据孤岛,帮助确定或批准将数据从源转换到目标的规则,保证企业跨业务领域的数据质量和有效利用。业务数据管理专员与干系人一起定义和控制数据,负责本领域子集的数据定义、生产与使用。每个数据主题域被分配一个或多个业务领域业务数据管理专员,确保每个业务领域都有相应的业务数据管理专员负责。


l 数据所有者对其管理领域内的数据具有批准权限,可以是某个业务数据管理专员。企业数据的所有权非常重要,通过识别和记录跨业务和组织边界的数据关系和依赖关系,把企业数据模型用作数据所有权管理工具,支持“共享”所有权。


l 技术数据管理专员负责一个数据源级的数据质量,他们是在某个知识领域内工作的IT专业人员,如数据集成专家、数据库管理员、数据质量分析师或元数据管理员。


l 在数据架构管理中,数据管理专员评审、验证、批准与完善数据架构,业务数据管理专员明确数据要求和规范,数据架构师依据规范设计企业数据架构。




06

根据自身能力现状

建立明确的目标与可行的路径


企业可以提供的资源、支持与能力影响初始范围,决定了可以花多少时间、精力来构建和维护企业数据模型,如果初期设定了不切实际的范围与目标,却长时间难以交付实质内容,可能会让干系人失去信心。


l 对于大多数企业来说,由于资源与能力所限,初始目标可以设定为实现企业级概念模型。企业内部关键的业务系统与数据应用系统,覆盖了企业关键业务领域,对这些系统进行反向工程形成物理模型,参照行业数据模型进行分类与验证,梳理出关键实体与属性,重用现有模型的组件,迭代创建新模型。


l 如果企业已实施建设数据仓库数据模型,可以此为基础升级。企业级数据仓库数据模型是企业级分析数据模型,一般基于成熟的行业数据模型设计,已经包含了丰富的实体,覆盖了大部分重要数据,在此基础上,建立数据管理职责分配矩阵,按照企业数据模型设计的要求进行修正、裁剪、补充。


l 少数组织已构建或初步构建企业逻辑数据模型,应完善组织,补充概念数据模型,修正逻辑数据模型,在企业范围内广泛宣传,将不同层级模型用于管理不同的数据活动,在数据治理活动中持续优化、完善。



07

在实践中完善组织

培养团队与数据文化


建立一个随时间持续发展和成熟的组织。随着数据治理的深入与全面展开,起初建立的数据治理组织、职责、流程等需要逐步优化、完善,确保采用新的政策和流程获得利益相关者的支持和认可,在整个企业得以遵循。


在企业数据建模与数据治理工作中发现潜质数据管理专员,认清他们做的工作,开发技能和知识,任命数据管理专员,正式明确他们的管理职责,让他们做出更多贡献。


创建企业数据模型的过程为企业不同人员提供了合作的机会,跨数据建模和数据治理的专家可以从彼此的协作中有所收益。数据治理人员可以利用建模人员的探索和分析结果确定当前的状况和改进机会,在模型中记录和执行正在推动的数据管理策略和标准,跟踪与监控执行的进度。数据建模人员可以建立丰富的业务案例,修正数据定义与业务规则,优化治理工作流,优化数据建模最佳实践。


建立与改良数据社区与文化。每一个企业的组织结构、文化与环境都是独一无二的。每个企业的数据社区文化一定是有别于其他企业的,对数据的思维和行为进行文化转变和持续的变革,每个数据干系人都应该具备数据意识,注意到数据具有生命周期,数据在企业数据生态系统中的流转,各项工作对别人有影响,使大家成为互相的业务伙伴。



综上所述,企业数据模型应该以增量和迭代方式在不同的详细级别上渐进构建。组建团队,培养专业能力,认真执行数据治理与建模每一项任务,建设数据文化,都需要团队合作与时间,不要企图一次性实现完美无缺的企业数据模型。不管企业现状能力如何,都可以从开发企业数据模型中获益,企业应根据自身实际情况进行符合企业自身实际的建模行为,在数据治理中渐进实现与组织能力一致的企业数据模型,逐步释放出企业数据模型的价值。


让中国金融科技 具有世界影响力
长亮科技更懂如何为您的数字化转型赋能