数据架构和数据治理的速赢(Quick Wins)方法

2020-10-12 17:53 来源:御数坊
浏览量: 收藏:0 分享

  前言

  根据受众的不同,数据治理可以有不同的定义。对一部分人来说,数据治理包括委员会会议和管理角色。对其他人来说,数据治理则侧重于技术层面的数据管理和控制。

  而整体数据治理是将以上两方面结合在一起,一个健壮的数据架构和相关的图表可以成为将业务治理和IT治理结合在一起的“粘合剂”。Global Data Strategy[1]的总经理唐娜•伯班克(Donna Burbank)在DATAVERSITY[2]的数据架构在线会议上谈到:在数据治理和数据架构一致的情况下,企业可以获得速效的机会。

  [1] Global Data Strategy是一家国际信息管理咨询公司

  [2] DATAVERSITY是一家为商业和信息技术(IT)专业人士提供有关数据使用和管理的教育资源机构

  什么是数据架构?

  Burbank根据DAMA国际数据管理知识体系(DMBoK2)定义数据架构为:数据架构是数据管理的基础。因为大多数组织拥有个人难以想象的超大数据量,在不同的抽象层面呈现不同的组织数据,是我们理解该层面信息并做出管理决策的必要条件。

  组织的数据架构描述由不同抽象级别的设计文档整合完成,包括管理数据搜集、存储、排列、使用和删除的标准。她说:“所以,即使在架构的定义中,讨论治理也是必不可少的,因为这是一个自然的重叠。”如果没有良好的架构,管理信息将十分困难。

  DATAVERSITY的一份题为《数据架构趋势》的报告中,其中一位受访者将数据架构描述为“评估数据的科学;也是艺术”,Burbank对此表示赞同。她说,治理专业人士和数据架构师需要在灵活的业务和严格的架构之间寻求平衡。实现这种平衡确实是一门艺术和一门科学。

  什么是数据治理?

  DMBoK2将数据治理定义为“对数据资产管理行使权力、控制和共同决策”。Burbank将权力和控制描述为“棍子”(威逼),将共同决策描述为“胡萝卜”(利诱)。“[1]治理通常能够帮助项目统一口径,如果企业注重数据正确的业务价值、正确的案例研究和正确的受众,那么数据治理确实可以帮助企业扩展业务。”

  数据架构:更广泛的数据战略的一部分

  Burbank在会议上讨论了Global Data Strategy的数据架构和数据治理框架文件。框架最顶层是业务策略,其旨在与业务优先事项保持一致并描述使用数据的原因。“我们是否试图利用这些数据来拯救生命?“如果是这样,则必须严格管理和规范数据。“或者我们只是做一些社交媒体情绪分析,放轻松,无需担心?“从下至上看这个框架,是按数据类型(文档、非结构化、半结构化或非结构化数据等)和数据位置(数据库、大数据平台等)对管理进行划分的。

  实施数据架构的业务驱动因素

  数据架构报告还发现,法规遵从性和治理是实施数据架构的主要驱动因素,同时也是商务智能和报告的主要驱动因素。在回答关于谁负责创建数据架构的问题时,正如预期的那样,超过90%的受访者说“数据架构师”,但是Burbank发现企业和业务架构师,以及数据建模师和数据治理办公室也被列为负责人,这很有趣。随着企业越来越关注数据,越来越多的人开始与数据相关,那么同时协作也变得更加重要。“这说明构建数据架构需要全员共同的参与与努力。”

  实施数据架构时寻求平衡

  谈回到数据架构既是一门艺术又是一门科学的观点,她说,如果所有的事物都必须经过充分的开发和建模才能向前发展,则终会一事无成。同样的道理,如果在匆忙前进的过程中绕过建模或架构,“这只是蛮荒的西部,你最终会花更长的时间。如果你没有时间做的完美,你还有时间再做一次吗?”

  找到合适的平衡点将提供业务价值,而平衡点的位置取决于行业。如果是医疗数据,那么仔细地管理和建模是至关重要的。如果是社交媒体数据,则具有很强的灵活性。

  寻找业务价值杠杆以识别速效

  她说,确定并专注于能够实现最高业务价值的领域,并为高知名度的产品发布或计划提供支持。“阅读公司的年度报告,听CEO的演讲,听他们说的话,看其公司的价值观,确保你真的与之保持一致。”

  促进公司目标和价值观的新举措更有可能引起公司决策层潜在拥护者的注意。围绕业务价值的关键领域构建模型,可以显示数据能够提供速效的领域。

  现代组织使用各种各样的数据平台

  DATAVERSITY的一份题为《数据架构趋势》的报告咨询了企业高管他们使用怎样的数据平台,尽管存在诸多关于关系型数据库的消亡的讨论,但Burbank表示,关系型数据库仍在发展壮大,超过80%的受访者表示他们会继续使用关系型内部数据库技术。

  她说,另一项发现让她畏缩不前:超过70%的人仍在使用电子表格。“我不知道我们能否解决这个问题。他们有自己的立场。”

  实施“足够”的数据治理

  Burbank展示了一个金字塔图,说明了并非所有的数据都应该以相同的方式管理。灵活性是关键。金字塔顶部是最小的一组,包括主数据、参考数据、公司内每个人都使用的通用产品代码列表—任何应该高度管理和掌握的东西。金字塔底部是探索性数据、沙箱、原始数据和外部数据。

  她说:“不要在人们不能做任何事情的沙盒上下太大力气,但也不要对主数据管理不足,以至于没人知道你有多少客户。”拥有可供使用的受管理的主数据可以帮助较低级别的员工进行研究。

  众包治理和元数据定义

  Burbank将主数据治理的不同层次解释为“百科全书”与“维基百科”。有些定义必须经过审查,清晰且普遍理解,并通过治理指导委员会发送:“这是‘客户’的定义,这与其相关的6个领域——禁止修改。”其他数据更适合自助服务和沙盒数据使用。重要的是要有足够的灵活性来满足不同用户的需求。

  术语、元数据目录和自助服务用户

  自助服务用户需要多种选择,因此请提供满足他们需求的解决方案:

  公司文件

  通用定义的业务术语表

  可用数据类型的标准化列表

  标记、聊天、协作

  建立数据和流程模型

  使用关键问题来创建概念和逻辑数据模型,以直观地传达信息。“这是一个很好的向业务用户传达信息的方法,”其中一些用户难以接受由诸多方框和线条构成的模型,所以添加了相关图片。那么,对于数据建模者来说,它看起来仍然像一个模型,但对于非技术人员来说,这也是一种更友好的方法。

  例如,当一个公共进程被多个不同的名称调用时,可以使用模型来避免混淆。流程模型也有助于理清客户的购买历程,或者理解整个组织是在何处以及如何创建和使用数据的。

  CRUD矩阵:创建、读取、更新、删除

  列出创建、读取、更新和删除数据的每个位置的过程,会带来意想不到的收获。CRUD矩阵可以展现,例如,如何更改地址但随后又被其他人覆盖,或者多个人如何以及在何处创建相同的数据。这个过程还可以发现手动输入并存储在电子表格中的关键数据。别忘了手工数据,她说,“因为这通常是人们正在使用的东西。”

  通过将数据与业务流程链接起来优化餐厅收入

  她使用模型和数据映射来帮助餐厅优化菜单。他们的核心业务定位是拥有一个动态的、有创意的菜单,但他们在从配料表到POS系统,一直到打印菜单的统一命名方面举步维艰。

  她使用业务流程图来绘制信息流,使用CRUD矩阵来查看数据的使用、拥有和管理位置。他们发现这位厨师有自己的“数据模型”,所有的菜单配料都列在白板上。供应链上有相同的原料,但名称不同。当信息显示在才当上时,名字又变了。

  该解决方案包括菜单的单一视图,在中央枢纽将其作为主数据合并及管理,并通过适当的管理来概述工作流程及策略。

  她指出,厨师对数据的理解可能会让一些人感到惊讶。“他有我称之为‘数据模型’的原料和产品,并将它们整合在一起。因此,不要低估业务人员,认为它们不是专业“数据人员”,其实他们每天都会接触数据。

  通过数据架构进行数据治理

  她协助一家零售供应商利用物联网(IoT)产品数据改进产品设计和提升客户服务、优化产品供应链和交付,来提升其客户体验。她说,这一过程揭示了一些可以通过一些简单的模型和协作解决的问题:

  彼此相互独立关键系统

  由于主题归类而被遗忘的系统

  使用中的不一致数据模型

  销售系统关闭时,产品代码更改并绕过了治理。

  Burbank使用敏捷方法在四周时间内,创建了流程模型、客户旅程图、数据模型、数据流图和组织图。该公司实现了其目标下的结构和计划,并阐述了对主数据管理、数据治理和数据架构的需求。

  这个过程对公司来说相当有益。首席营销官告诉Burbank,作为一个商业人士,她虽然可以使用和理解模型,但从来没有想过要使用类似“数据流图”这样的专业术语。销售部门负责人能够直观看到销售人员输入的客户信息的一致性是如何影响客户体验。他问,“我不应该控制我的人如何输入这些数据吗?因为下游还要用到这些数据。”

  数据架构和治理的关键作用

  “一切都水到渠成,”她说,业务数据模型可以回答以下问题:

  我所说的“customer”是什么意思?

  我所说的“claim”是什么意思?是营销要求?还是保险索赔?

  我能理解该过程的一部分吗?

  我知道在哪里使用数据吗?

  我的业务规则和策略是什么?

  PII在哪里?什么是PII?是这个字段和这个数据库吗?

  我们关注哪些领域?

  Burbank建议从全局出发,然后构建数据架构,同时与合适的人合作进行白板设计思考。“而且要灵活!”


标签:

责任编辑:bozhihua
在线客服