高能干货|大数据治理框架整理与解读
大数据将打开各行各业的数据“潘多拉魔盒”。社交网站、电商巨头、电信运营商乃至农业、医疗、文旅、园区、军营、地产、空域规划、国土规划等行业都将加入大数据的“淘金”热潮，政府部门同样会从大数据中获益匪浅。如何将海量数据应用于决策、营销和产品创新？如何利用大数据平台优化产品、流程和服务？如何利用大数据更科学地制定公共政策、实现社会治理？所有这一切，都离不开大数据治理。可以说，在大数据战略从顶层设计到底层实现的“落地”过程中，治理是基础，技术是承载，分析是手段，应用是目的。 大数据治理目的数据治理的目的就是为了解决在海量数据处理过程中可能出现的数据问题。而构建数据治理的相关模型则是为了将数据治理的各环节形成固定化模块操作，保证数据治理各环节都能够得到有效执行。为什么需要大数据治理框架大数据的淘金之旅，需要脚踏实地的努力。大数据治理是连接大数据科学和应用的桥梁，若要到这风光无限的大数据彼岸，大数据治理一定是“必修课”之一。——宽带资本董事长田溯宁大数据治理关乎组织的所有部门和全部流程，贯穿数据的整个生命周期。要打破数据分割的窘境，实现大数据价值的最大化，就要聚合分散孤立、类型各异的大数据集要提高数据的质量，最大限度地使用可信的数据，就需要清洗和净化各种类型的数据，要消除数据风险、保护用户隐私，需要对大数据进行加密和屏蔽······因此需要合理的大数据治理框架。权威机构的大数据治理框架近年来数据治理越来越受到国内外研究机构和学者的关注，在数据治理的框架设计等方面均取得了很多研究成果，并在商业、教育、医疗等以数据为核心业务的社会发展领域取得了很好的应用效果。ＤＡＭＡ（国际数据管理协会）、ＩＳＡＣＡ（国际信息系统审计和控制协会）、ＤＧＩ（国际数据治理研宄所）、ＩＢＭ数据治理委员会和Ｇａｒｔｎｅｒ公司等权威机构均从不同角度给出了数据治理的框架。 ＤＡＭＡ国际数据管理协会ＤＡＭＡ给出的定义最具有代表性，数据治理包含的要素最为全面，对于企业数据治理体系的建设有一定的指导性。 DGI数据治理框架DGI框架以一种非常直观的方式，从组织、规则、流程三个层面，总结了数据治理的十大关键要素及十个基本组件的逻辑关系，形成从方法到实施的自成一体的完整系统，创新地提出了DGI数据治理框架。 IBM数据治理框架IBM在构建数据治理框架方面，提出了数据治理的要素模型，并认为目标或成果是数据治理的最关键命题。 Gartner数据治理与信息管理要素模型 数据治理框架的理解和解读几家权威机构给出的数据治理框架包括元数据管理、数据质量管理、数据安全管理、数据标准、主数据管理、信息生命周期管理、数据开发等数据治理的内容，以及数据组织架构管理、数据治理流程等数据治理的组织管理与实现。结合目前大数据中80%的数据含有时空属性的因素，以及在时空大数据方面多年的沉淀，以下是景轩信息整理的数据治理框架内容，不足之处希望业内专家指正，期待与您的交流： 组织管理，打通数据治理流程组织管理，是打通数据治理流程的重要一环，涉及数据管理人员、数据利益相关者、数据访问使用等各部门、单位之间的业务协调，需要IT与业务部门进行协作，而且必须始终如一地进行协作，以改善数据的可靠性和质量，从而为关键业务和管理决策提供支持，并确保遵守法规。元数据管理，数据治理的核心环节元数据的管理有着十分重要的作用。通过元数据管理工具将元数据服务提供给所有业务人员，使业务人员也能够快速的从业务角度理解数据，从而帮助业务人员更好的利用数据。同时，通过查询元数据信息可以了解数据在整个生命周期（包含数据的来源、数据修改与删除等）中的来龙去脉，实现高效管理大数据系统中的海量数据信息元数据管理。大数据治理需要将大数据与企业的元数据库进行整合，将大数据术语纳入业务词库。例如：增加“独立访客”术语，以支持点击流分析。1. 从Hadoop 中将技术元数据引人元数据库。2. 确保数据血统（data lineage）管理者能够将数据流从Hadoop 引人技术元数据库。3. 管理数据血统，并在大数据环境中对分析施加影响。数据标准，数据治理的成效保障数据标准的合理性与统一性，决定数据治理的成效。通过时空格网编码的方法建立时空数据的统一标准，结合其他的业务标准共同建立数据治理的标准体系。数据标准适用于业务数据描述、信息管理及应用系统开发，可以作为经营管理中所涉及数据的规范化定义和统一解释，也可作为信息管理的基础，同时也是作为应用系统开发时进行数据定义的依据。企业数据标准体系的建设应既满足当前的实际需求，又能着眼未来与国家及国际的标准接轨。质量管理，数据治理的成果保障数据质量管理。大数据质量的管理要实时化，并解决与准结构化和非结构化数据相关的问题。糟糕的数据质量一定会阻碍需要深度商业洞察的分析，因此大数据治理的质量必须“足够好”。主数据管理，数据治理的主要目标主数据管理是通过运用相关的流程、技术和解决方案，对企业核心数据的有效管理过程。主数据管理涉及主数据的所有参与方，如用户、应用程序、业务流程等，创建并维护企业核心数据一致性、完整性、关联性和正确性。主数据是企业内外被广泛应用和共享的数据，被誉为是企业数据资产中的“黄金数据”，主数据管理是撬动企业数字化转型的支点，是企业数据治理最核心的部分。安全管理，数据治理的必要条件数据安全管理，早在1890 年，路易斯·布兰寻密斯（后成为美国最高法院的法官）和塞缪尔·沃伦，即在《哈佛法学评论》杂志上发表了《隐私权》一文。该论文将隐私定义为“让人独处的权利”。此后，全球各地的规制和立法，对隐私权理论进行了规范和扩展。大数据治理需要识别敏感数据，并制定有关敏感数据的可接受使用的政策。政策需要考虑因大数据类别、产业和国家而异的规制。鉴于有关隐私话题的许多报道引人注目，如果适用的话，大数据治理计划有必要建立与社交媒体和地理位置数据有关的指南。 总结数据治理需因地制宜，不论建立什么样的数据治理框架体系、采用什么样的数据治理技术，其目的都是实现数据治理目标，即：通过有效的数据资源控制手段，实现对大数据的管理和控制，以提升数据分析的能力、数据应用的深度，进而提升数据变现的能力。因此数据治理体系和框架，只是企业数据治理的一个参考，需根据具体需求进行调整，不能照搬和套用，更不能为了治理而治理。小编提示这是一个系列文章，沉淀了景轩信息对数据治理的一些思考，除了本篇数据治理框架的解读，还将从组织管理、元数据管理、数据标准、质量管理、主数据管理、安全管理六大技术模块剖析数据治理的一些技术和方法，以及如何进行数据治理的应用，共8篇高能干货文章，敬请期待！
‘图记’视角下的美伊冲突
将军之死，让中东局势陡然升级，在隔空对阵数轮之后，美伊冲突擦出明火。近来美伊之间你来我往，冲突似有愈演愈烈的趋势。这片孕育了人类古老文明的土地，注定将是大国博弈、宗教纷争、民族矛盾的多发地。被袭区域现在是什么状况？一切要从伊朗指挥官遭无人机袭击说起... 伊朗指挥官遭无人机袭击 2020年1月3日，美军空袭刺杀了正在巴格达访问的伊朗伊斯兰革命卫队特种部队“圣城旅”指挥官卡西姆·苏莱曼尼。 据伊拉克方面证实，3日凌晨，美军出动了“收割者”MQ-9无人机、阿帕奇武装直升机。由MQ-9无人机上的AGM-114“地狱火”两枚导弹袭击苏莱曼尼等人的座车，两辆车上的人员无一幸免。 伊朗反扑 1月8日，美军驻伊拉克“阿萨德空军基地”遭到“数十枚导弹”袭击。据伊朗法尔斯通讯社报道，（在第一轮袭击中）伊朗使用了“征服者”313弹道导弹。“征服者”是射程500公里的短程地对地导弹。 第一轮袭击后不久，伊朗针对伊拉克阿萨德空军基地进行了第二轮导弹袭击。 阿萨德空军基地是伊拉克第二大空军基地，位于安巴尔省省会拉马迪以西约110公里处的巴格达迪镇附近。阿萨德空军基地是目前美国在伊拉克驻军人数最多的基地，同时也驻扎着打击极端组织“伊斯兰国”国际联盟的多国部队。 阿萨德基地遭袭击后 美东时间8日上午11时许，针对伊朗袭击美军驻伊拉克基地，美国总统特朗普在白宫发发表全国讲话。特朗普在讲话中表示，伊朗袭击没有造成美军人员伤亡，美军基地受到的损失很小。此外，也没有伊拉克人在袭击中受伤。 但伊朗方面此前声称，袭击至少造成80名美国军人死亡，200人受伤，同时袭击还造成大量无人机和直升机被摧毁。美伊双方对死伤人数和导弹数量各执一词，对死伤人数说法不一。 我们获取1月7日和1月8日卫星影像数据，利用“图记”进行袭击前后的对比。 文中插图均通过景轩信息“图记·在线影像标注管理系统”制作。 图记为客户提供一个在线制图环境，可根据行业特征及领域进行灵活定制，方便组织协作与共享及制图下载，并提供私有化、公有化部署。 地图数据管理、地图制图、军事标绘、军标库、警用库、应用库等特定领域的符号库等。 图廓设置、数据导出、影像更新、成果输出、排版等。 景轩信息热忱欢迎各界同仁前来咨询、洽谈业务，愿与各界同仁竭诚合作，共创美好未来！
景轩信息荣获第二届虚拟现实技术及应用创新大赛（企业创新组）三等奖
由中国虚拟现实与可视化产业技术创新 战略联盟主办 “佛科院杯”第二届虚拟现实技术及应用 创新大赛 于2019年11月22日至24日 在深圳圆满落下帷幕 景轩信息参赛作品《反腐倡廉警示教育学习软硬件一体化解决方案》 荣获三等奖 本次大赛以“科技创新引领未来发展”为主题，推动企业及高校人才培养，提升利用虚拟现实技术结合所学专业知识，探索分析问题、解决问题的能力，展现产品设计创新能力、团队协同合作能力，进一步培养产业转型升级和创新驱动发展所需要的高素质技术技能型人才；结合产业技术和应用场景，推进与智能制造、5G、公共安全、医疗健康、教育、商务、文旅、社交、数字经济等领域的融合，培育产业新动能，助力产业升级。 由李永慧、张斌、杜晓贝、薛雷为代表的 景轩团队 VS 入围决赛的23个企业创新组 最终 荣获三等奖 景轩团队秉承“VR新时代 We are共精彩”的理念向大家展示的《反腐倡廉警示教育学习软硬件一体化解决方案》，不仅可直接用于国家党风廉政建设，亦可应用于其他党的宣传、教育工作，或是传统的教育领域。 《反腐倡廉警示教育学习软硬件一体化解决方案》利用三维精细化建模、高保真场景渲染技术，采用多终端（VR头盔、3D大屏、手机720全景、ipad安卓版本等）的展现方式，以沉浸交互的形式演绎。既可以让大家体验真实的3D效果，还可以进行交流讨论，犹如亲临现场的观感。 虚拟现实作为战略性新兴产业的重要前沿方向，成为连接人、社会与信息空间、物理空间关系的下一代信息系统的计算平台。目前，景轩绿洲VR服务于地产、军事、工业、文旅、智慧党建、智慧城市等行业客户，未来我们将继续探索虚拟现实技术更多的可能性，为产业的发展和人们的日常生活带来诸多便利。
“洞见”硬核更新！时空数据筛选组件上线~
旺盛的时空数据动态可视化需求 陆地、海洋、大气、生物、经济和社会现象，乃至世界万物都具有地理空间分布，并且随时间变化，可以被观察并记录为时空数据。我们用三个维度表示空间，一个维度表示时间，真实的世界是立体而不断流动的。 因此我们习惯性的对生活、工作提前进行规划与预测，那么结合时空数据，决策或预测的准确性、时效性将会极大的提高。 比如，业务数据能让我们知晓哪些客户有倾向购买某类产品，若加入时空数据（时间和属性信息），还会了解客户倾向购买产品的时间、地点和原因；营销人员可以超越直觉和猜测的寻找潜在客户、确定目标市场、战略性广告投放及确定产品搭配。 不仅企业的营销策划、网点选址等需要时空数据辅助决策，国家的国土资源规划、智慧城市构建等涉及到规划决策的都需要时空数据的加持。 时空数据怎么应用到辅助决策？类似下图这样？ 我们肯定要说NO！ 因此，对时空数据或者属性信息可视化及动态可视化的展示，快速有效的应用于辅助决策是目前时空数据应用亟待解决的问题！ “洞见”新增时空数据筛选组件 在之前的文章中，我们已经了解到，洞见由专业设计师精心预设多种行业模板，丰富的地图及图表组件，可以通过图形化的界面在十分钟之内快速搭建起专业、美观、酷炫的展示大屏，体验到时空数据可视化之美。 但是，当我们需要从专家的视角对数据进行洞察分析，将问题转化为时空答案的时候，我们需要更灵活、更强大的分析工具。 因此我们对洞见进行了更新，新增了动态分析组件： 时间轴动态筛选器 区域联动筛选器 页面级筛选器 时间轴动态筛选器 时间轴动态筛选器是利用计算机图形技术将地图序列的每一幅图片按时间帧连接并播放，即生成时空动画，完整的展示了所有时空信息的筛选功能组件。将时间用作连接线以发现隐藏的模式与规律。 以医疗领域为例，想要查看一天之中所有执业医师的刷卡变化情况，就免不了需要将数据进行时间维度的切片，此时，就用到了基于时间轴的动态筛选器。 那如何使用时间轴动态筛选器呢？ 第一步，从展示组件中选择时间轴组件，放置在展示大屏上。 第二步，对时间轴的样式进行设置，包括时间轴的颜色，开始时间、结束时间；自动播放时间间隔等。 第三步，进入时间轴的高级选项，点选“开启联动”，选择需要跟时间轴联动的图表或地图。 完成添加，点击播放按钮，就可以查看时间轴的播放效果。 区域联动筛选器 时间轴动态筛选器解决了时空数据在时间维度的切片问题，空间层面的筛选问题怎么解决？ 比如我们拥有全郑州市的企业分布及分类信息，想要得到陇海路以北，金水路以南的企业分类信息，又将如何操作呢？ 第一步，开启筛选联动组件 第二步，选择与组件联动的图表 完成添加，操作选择组件，就可以查看区域联动的实现效果 页面级筛选器 除了时间维度和空间维度，我们可否根据业务信息来进行数据切片呢？答案当然是可以的。
景轩信息“洞见”产品正式入驻青云
为满足更多客户对时空大数据分析和可视化的需求，2020年3月23日，郑州众合景轩信息技术有限公司（以下简称：景轩信息）自主研发的时空大数据分析及可视化平台——“洞见”正式入驻青云QingCloud（以下简称：青云）AppCenter，免费为客户提供数据分析及可视化服务。 青云平台简介 青云QingCloud 是一家技术领先的企业级云服务商与数字化转型解决方案提供商，致力于通过一套自主创新、中立可靠、灵活开放的全维云平台为数字世界的高效运行提供坚实的基础支撑，以加速推动百行千业数字化转型。凭借广义云计算服务能力，青云QingCloud 打造了一个具有“全栈”、“全态”、“全域”能力的全维云平台：在服务层次上，纵向跨越 IaaS、PaaS 和应用平台的全栈云架构，覆盖众多品牌的 ICT 服务；在服务交付形态上，以统一架构实现公有云、私有云、混合云和托管云的一致化交付与管理；在服务场景纵深上，集结云、网、边、端一体化能力，实现全域智能数据互联。 如何在青云平台使用“洞见” 1、申请注册青云账号，并登录； 申请地址：https://console.qingcloud.com/login 2、在青云官网的菜单栏中选择AppCenter，并在“大数据”类别下找到“洞见”产品； 3、在洞见产品页面，点击立即部署，选择服务器区域； 4、按照“洞见”页面中“使用说明”连接中的指导，逐步设置要使用的“洞见”产品的版本，cup、内存等资源大小，网络，以及环境参数；（洞见免费使用，但青云的云环境需要根据使用情况收费） 5、即刻开始体验“洞见”。 （默认管理员名称：admin ；密码：123456）
【解决方案】智慧厂区精细化管理系统
制造企业高速发展，各行业厂区规模不断扩大，与此同时，由于现代化，精细化管理手段发展的不同步，影响企业生产效率，制约企业发展。 管理中的常见问题： · 需要投入大量的人力去掌握生产进度、原料消耗量、利润率等数据； · 难以合理分配任务量、投入的设备数量和员工人数 ； · 厂区人员集中、机器设备繁多，安防监控能力薄弱，即使有安防监控，但监控数据不能及时的调取查看； · 厂区各类管理数据只有各种表格，无法做到可视化。 在这种背景下，企业亟需一套智能的厂区精细化管理系统，提高厂区的现代化管理水平，将厂区内现有的安防监控、门禁管理、人员管理、智能巡检等功能统一集中管理，进行可视化的展示，并能够与业务结合，逐步提高厂区信息化程度。为此景轩信息自主研发了厂区精细化管理系统，助力厂区精益化、敏捷化、数字化、信息化、网络化管理。 厂区精细化管理解决方案 方案采用三维可视化及虚拟现实技术，对厂区建筑及设备设施进行1:1建模，真实还原厂区环境，构建厂区准确、高效、全面、规范的三维仿真系统。同时，接入厂区内的各类物联网数据，视频监控数据，生产业务数据等信息，利用数据整合与分析技术 ，将三维仿真模型与工厂的生产、运行、监控情况融合展示，实现厂区的精细化管理和监控。最终实现资源的合理配置和调度，提高各个部门的快速响应和协同处理能力，提高生产效率。 方案核心功能