`
housheng33
  • 浏览: 230138 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

数据治理(Data Governance)

阅读更多

什么是数据治理

数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。
 
数据治理的全过程
数据治理其实是一种体系,是一个关注于信息系统执行层面的体系,这一体系的目的是整合IT与业务部门的知识和意见,通过一个类似于监督委员会或项目小组的虚拟组织对企业的信息化建设进行全方位的监管,这一组织的基础是企业高层的授权和业务部门与IT部门的建设性合作。从范围来讲,数据治理涵盖了从前端事务处理系统、后端业务数据库到终端的数据分析,从源头到终端再回到源头形成一个闭环负反馈系统(控制理论中趋稳的系统)。从目的来讲,数据治理就是要对数据的获取、处理、使用进行监管(监管就是我们在执行层面对信息系统的负反馈),而监管的职能主要通过以下五个方面的执行力来保证——发现、监督、控制、沟通、整合
 
如果您将要添加一个多领域 MDM (主数据是指在整个企业范围内各个系统(操作/事务型应用系统以及分析型系统)间要共享的数据)系统并承认 CRM 和 ERP 系统并不是设计用于管理主数据,为何不进行下一步骤并取消它们的创建、更新或删除主数据的功能,而是允许这些系统只能读取和处理主数据呢?{规定某一系统进行数据的录入,其他系统只用该系统的数据。或者另外搞一套系统,专门用来维护公共数据}
 
 
何时开始主动数据治理?
一些情况要求立即开始主动数据治理,例如当您获得多个 CRM 系统和 ERP 系统,它们要求与多领域 MDM 系统集成,以便让它们继续充当录入系统,或当您的当前源系统非常脆弱或很难维护或修改。
在这些情况下,要忍受困难并从一开始便为主动数据治理作出计划。一些组织拥有成千上万个直接在 MDM 系统中授权主数据的最终用户,并且有一个数据管理员团队支持他们、发现异常、解决低质量匹配、在需要时手动合并重复记录等等。另一种应用情况是当您发现自己最终会选择主动数据治理方法 — 何必再为建立源系统到多领域 MDM 系统的双向集成而争论?您或许不妨直接授权最终用户来编写主数据。
 
随着越来越多的企业建立并广泛应用BI系统,数据治理的话题也在最近被越来越多地提及和讨论。有专家表示,只有建立了一定的数据治理体系,用户才会真正进入商业智能的时代。
 

概念:管理举措,持续改善

数据治理(Data Governance),是由企业高级管理层的数据治理委员会发起并推行的,是关于如何进行整个企业内部数据的商业应用和技术管理的一系列政策和程序。数据治理是一套持续改善管理机制,通常包括了组织架构、政策制度、技术工具、数据标准、作业流程、监督及考核等方方面面。

 

 

技术:主题众多,元数据管理先行

       数据治理涉及的IT技术主题众多,包括元数据管理、主数据管理、数据质量、数据集成、监控与报告等。

根据权威数据管理研究机构TDWI对数百家国际企业的调研结果,元数据管理的重要性在全部技术主题中位列第一。

元数据管理是语义工具,其重要性在于,它能够为数据治理建立一套数据资料库,存储治理范围内的数据定义,负责人,来源,转换关系,目标,质量等级,依赖关系,安全权限等。这些信息对于商业整合,数据质量,可审计性等数据治理目标的实现至关重要。

元数据管理是实施数据治理的核心IT技术,有效的元数据管理将为数据质量、数据集成等技术的实施,以及数据治理目标的最终实现奠定坚实的基础。

 

 

意义:发掘数据资产的商业价值[数据深度使用]

数据治理是专注于将数据作为企业的商业资产进行应用和管理的一套管理机制,能够消除数据的不一致性,建立规范的数据应用标准,提高组织数据质量,实现数据广泛共享,并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中,发挥数据资产的商业价值。同时,数据治理将帮助组织更好的遵从内外部有关数据使用和管理的监管法规,如SOX法案,Basel II协议等。良好的数据治理必将为信息化时代的企业带来不可替代的竞争优势。

 

数据治理(Data Governance)是围绕将数据作为企业资产而展开的一系列的具体化工作。数据是企业最大的价值来源,同时也是最大的风险来源,数据管理不佳通常意味着业务决策效果不佳以及更可能面临违规和失窃。而利用规则的可信数据有助于组织的业务创新提供更好的服务,提升客户忠诚度,减少合规及报表要求所需工作,并提升创新能力。

 

数据治理不光是软件,还要有相应的流程、方法。

 

框架包括产出领域:数据风险管理、价值创造;驱动领域:组织机构/流程、管理制度、数据责任人;核心领域:数据质量管理、信息生命周期管理、安全/信息披露/合规;支撑领域:数据模型/数据架构、元数据/主数据/数据标准、质量审计与报告。

 

主数据是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单等。

主数据管理旨在从企业的多个业务系统中整合最核心的需要共享的数据,集中进行数据清洗,并以服务的方式把统一、完整、准确的主数据分发给企业内的操作型应用和分析型应用,包括业务系统、业务流程和决策支持系统等。

 

数据的特点是3V,即大量化(Volume)、多种类(Variety)和高采集速度(Velocity)。大量化意味着传统的数据质量算法,除非有非常大的性能提升,是难以用在大数据环境下的,因为扫描一次的时间可能都是无法接受的;多种类更增加了这种难度,因为传统的数据质量算法基本上是基于关系数据的,对于象XML、文档、图数据等等类型,目前还没有太好的数据质量算法;高采集速度更是一个严峻的挑战,因为采集过程本来就是数据质量问题的主要来源,采集速度快,又不能及时进行数据质量处理,会导致数据质量问题的堆积,越来越严重。

       同时,数据质量是一个综合性的问题,一般认为其包括三个方面:元数据的质量、数据内容的质量和数据使用方式的质量,而大数据的特点恰恰是元数据的弱化和未来使用方式的不确定性。

 
0
6
分享到:
评论
3 楼 vinceall 2014-07-07  
看不懂啊。。。
2 楼 housheng33 2013-04-26  
敏捷,灵活利用~

多学,用时头脑清晰些~


正在边使用边学习中,共勉!

1 楼 dacoolbaby 2013-04-26  
楼主的文章概括的内容比较多,根现有数据仓库的大体环境相似。
很多内容都是只可意会不可言传的感觉。

例如,元数据管理的方法是什么,如何追踪等等,都没有提出很好的方向。

相关推荐

    book 数据治理 Data Governance.pdf

    近年来,组织中的数据有了巨大的增长。这些数据已经成为竞争、生产力、增长和创新的基础。通过互联网、社交媒体和多媒体...随着企业应对需要高质量数据的战略和运营挑战,数据治理正在成为企业信息管理的一个重要领域。

    A Conceptual Framework for Designing Data Governance for cloud computing.pdf

    数据治理的框架介绍。Data complexity and volume continue to explode; businesses have grown more sophisticated in their use of data which drives new demands that require different ways tocombine, ...

    02.Sunil Soares - Data Governance Tools.pdf

    key process of enterprise digital transformation: data governance.

    DGI数据治理体系+如何使用DGI数据治理.zip

    1、dgi_data_governance_framework 2、wp_how_to_use_the_dgi_data_governance_framework

    大数据时代的数据治理.pptx

    大数据时代的数据治理 2019年8月 Data governance in the era of big data 大数据时代的数据治理全文共11页,当前为第1页。 数据平台的发展 1981 1999 2003 2005 2007 2009 2011 2013 2019 1988 1992 1996 数据平台...

    Data_Governance_in_Digital_Transformation.pdf

    •Rethinking Data Governance & Management •Data Management & Maturity Model (DMM) •2020 State of Cybersecurity: Threats and Skills Gaps •Tech Workforce 2020 Research•Staffing and Organization ...

    How to Design, Deploy and Sustain an Effective Data Governance Program

    国外2B市场很早就成熟了,有一批专业人士一辈子都在研究数据管理及治理,有很多专业论文及书籍,本书是很不错的一本,从事数据治理工作的朋友建议一看。 John Ladley-Data Governance_ How to Design, Deploy and ...

    华为数据治理DG相关资料

    华为数据治理Data-governance相关资料,供学习参考使用

    DAMA语境关系图汇总总结

    数据治理(Data Governance) 数据架构(Data Architecture) 数据建模和设计(Data Modeling and Design) 数据存储和操作(Data Storage and Operations) 数据安全(Data Security) 数据集成和互操作(Data ...

    成为数据大V必须搞清的三大概念:企业架构、IT治理和数据治理.docx

    企业架构(EA,即Enterprise Architecture)、IT治理(IT Governance)和数据治理(Data Governance)是对企业信息化影响深刻的三个领域,三者各自独立成为体系,但是又相互交织。在数据治理广受关注的今天,由于...

    Data Governance Strategies

    对于现代企业,数据仓库及数据分析能极大提高企业的竞争力,但是有效的数据分析基于良好、持续的数据治理,这不简单包括传统数据仓库技术中的数据清洗、加载、整合、数据质量等技术方法,更重要的的企业整体的数据...

    CDGA 模拟真题100道(含历年真题)

    DAMA 数据治理工程师”(Certified Data Governance Associate 简称CDGA)模拟真题100道(含历年真题)

    DataGovernanceActpdf.pdf

    欧洲议会和理事会条例关于欧洲数据治理相关文件,欧盟一直在编纂个人数据保护条例,反对那些对私人信息加以利用的商业行为,自豪地将其条例定位于与美国轻描淡写的隐私问题

    【学习笔记】数据治理活动的输出二维矩阵.pdf

    数据治理活动输出二维矩阵,仅做参考!!

    DMM数据成熟度模型

    个人感觉优于DMBok的架构,DMBok是将数据治理相关领域堆砌在一起,DMM提供了一个指南。当然,如何在中国真正发挥作用,需要各位见仁见智,深入研究行业、公司和研发的特点,实现落地。 毕竟,CMMI真正指导过我们提升...

    CDGA超全资料(包含电子书、学习笔记、思维导图、刷题和必背知识点)

    CDGA(Certified Data Governance Architect)是一项专业认证,旨在评估和证明个人在数据治理领域的专业知识与技能。CDGA超全资料是一套为准备CDGA认证考试的人士设计的综合学习材料集,它包括电子书、学习笔记、...

    CISP-DSG 数据安全培训教材课件标准版

    “ 注册数据安全治理专业人员”,英文为 Certified Information Security Professional - Data Security Governance , 简称 CISP-DSG , 是中国信息安全测评中心联合天融信开发的针对数据安全人才的培养认证, 是...

    数据治理工具-研究论文

    本文从更广泛的知识共享治理框架(一种管理共享知识、信息和数据资源的制度方法)方面描述了数据治理的挑战。 知识共享治理突出了有效的基于社区和集体的知识资源治理的潜力。 这篇文章侧重于知识共享框架内的关键...

    从(水平和部门)数据访问解决方案到数据治理系统-研究论文

    从假设在某些条件下还必须有强制性的解决方案来访问私有数据的假设开始,本文分析了实施此类数据访问解决方案的法律和法规... 在最后一部分中,讨论了可以在数据治理系统中使用的重要工具,例如数据受托人解决方案。

    CDGA试题混编88题

    DAMA 数据治理工程师”(Certified Data Governance Associate 简称CDGA)考试,根据参加考试考生和专业机构汇编整理,分三种类型题目,适合不同情况的学生。 入门级:《CDGA试题混编88题》 进阶级:《CDGA试题混编88...

Global site tag (gtag.js) - Google Analytics