我的编程空间,编程开发者的网络收藏夹
学习永远不晚

谈谈数据中台技术体系

短信预约 信息系统项目管理师 报名、考试、查分时间动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

谈谈数据中台技术体系

昀哥 20191109

我们做大数据很早,2011年、2012年就开始了,到现在基本形成了一整套完整的数据中台体系。大数据基本为这三件事服务:

1.决策依据和经营分析

2.运营调度

3.外部机构尽职调查和穿刺

各个公司各条业务线对数据高度敏感,尤其是打仗(有仗打仗,没仗造仗)的时候基本上是实时调度,加之公司多,数据来源多,机房多,交易量大(每日1000+万),实时性要求高,所以需要一套行之有效的数据中台来支撑。

 

首先,我们把大数据技术领域划分为六块,如下图所示。

  1. 元数据管理:分为技术元数据业务元数据。技术元数据描述数据仓库技术细节。业务元数据从商业和业务的角度描述数据仓库中的数据,使业务人员更好地、全面地理解数据仓库中分析出来的数据。其中最经典的场景就是血缘(动态)分析。

  2. 协作调度:不管是离线计算,还是实时计算,都需要一套调度和管理系统来帮助数据仓库工程师平滑地完成测试环境、生产环境的计算任务的打包、提交、测试、核验数据和发布。

  3. 自助分析:也可以叫即席查询。具有一定经验的运营人员或数据分析师可以利用自助BI系统完成数据提取、数据分析和展示,所见即所得。

  4. 数据可视化:指的是预先通过可视化系统配置好的各种监控大屏和经营分析报表。

  5. 运维监控告警:对集群组件安装和升级,对数据迁移,对集群运转情况,需要有一个能让运维人员和数据仓库工程师解脱出来的解决方案。

  6. 数据资产管理(含数据质量):在元数据管理基础之上,第一层需要数据质量保障,即有一套明确的保障机制,对生产出来的数据做校验,确保数据无误,否则就要找到数据失真的原因并告警。第二层是梳理盘点数据资产,准确计量数据资产,准确掌握数据资产的开放情况,形成治理闭环。

 

其次,我们的数据中台在最近两年发展得更有体系了,这与公司裂变、业务规模激增引发的,当然也跟我们高屋建瓴、高举高打分不开。

如果分层来划分的话,可以把工作成果分为业务交付和过程管控两啪,如下图所示。

简单做一个系统概述和技术栈说明:

业务交付:

-自助报表:自窝窝以来我们就有一套向导式的报表自助配置系统,绝大多数经营分析报表(一般是T+1数据汇总和明细)都是这么配置出来的,有汇总有明细有图有表有筛选有排序有导出。

-数屏:一种高逼格数据应用,它的目标是通过图形化界面快速搭建可视化监控大屏,数屏可以提供丰富的可视化数据组件,满足业务监控、会议展览、投资咨询等多种业务的展示需求,尤其要满足PC浏览器或者手机浏览器访问下的自适应布局。

-数据开放实验室:一种即席查询和自助分析系统,它的目标是将我们收集到的各种数据,授权下游企业使用,通过即席查询定义API,通过API获取数据,并进一步做可视化分析,制作报表。它的用户既有企业内部用户,也有企业外部用户。

-天演:不懂SQL或是数据库结构的非技术人员,让他们能自由地上传临时数据、关联授权数据、探索数据,回答自己的问题,建立自己的个人数据工作台,有图有表能下钻,从宏观到微观。也因此数据查询交互速度要足够快,选Druid,杠杠的。

过程管控:

-魔盒:既然业务开发有研发协作平台、数据库自动化运维平台和运维自动化平台,那么大数据开发也肯定需要有一个协作平台。所谓协作平台,指的是围绕着四个核心概念(资源,数据,流程,操作)构建一个体系(资源能看见,流程能流转,数据能共享,操作有记录),流程驱动数据和资源,操作可视化和可追踪,形成闭环。底层实际是Azkaban。

-移山:异构数据源之间的数据迁移自动化平台,它旨在解决第三方数据接入、实时数据(单向/双向)同步、大数据集群间的数据迁移等问题。本质上是Canal和Kafka。

-磐石:基于Ambari的运维监控告警系统。

-能量块:元数据管理系统。

 

数据中台在整个大中台的位置如下图所示。

上面这套大中台体系,我们已经运转自如,大势已成。

-EOF-

 

欢迎关注公众号:老兵笔记

 

 

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

谈谈数据中台技术体系

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

谈谈数据中台技术体系

昀哥 20191109我们做大数据很早,2011年、2012年就开始了,到现在基本形成了一整套完整的数据中台体系。大数据基本为这三件事服务:1.决策依据和经营分析2.运营调度3.外部机构尽职调查和穿刺各个公司各条业务线对数据高度敏感,尤其是打仗(有仗打仗,没仗
谈谈数据中台技术体系
2021-07-31

谈一谈数据中台的原罪

数据中台的确有很大的价值,但也隐含着不少风险,我们以前谈其优点多了,缺点谈少了,这不是实事求是的作风,更可怕的是,也许我们自己并不知道这些风险的存在。

浅谈活动中台系统技术债管理实践

本文通过在活动中台系统的技术债实践经验,介绍技术债的含义、分类和管理。

五分钟技术趣谈 | 数据库容灾体系建设分析

数据库容灾:建立一个异地的数据库,为了保护数据安全和提高数据的持续可用性,企业要从数据备份、故障预警等多方面考虑,将数据库的必要内容文件复制到不同的存储设备中,备份是系统建设中需要考虑的最重要的事项之一。
数据库容灾2024-11-30

浅谈大数据技术在天体系统运行状态监测中的应用

大数据技术在天体系统运行状态监测中的应用主要集中在海量数据的采集存储、分析挖掘、可视化等领域。

从数据仓库到数据中台再到数据飞轮:浅谈数据技术进化史

从数据仓库为企业提供基础的数据存储和初步分析,到数据中台致力于打通数据壁垒实现高效利用,再到数据飞轮构建起数据的动态循环生态,这是一段充满创新与突破的数据发展之路。下面我将以我所了解到的知识来讲一讲数据技术进化史。

「详谈 Delta Lake」系列技术专题 之 湖仓一体(Lakehouse)

本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 系列技术文章。众所周知,Databricks 主导着开源大数据社区 Apache Spark、Delta Lake 以及 ML Flow 等众多热门技术,而

以“升舱”之名,谈谈云原生数据仓库AnalyticDB的核心技术

本文从升舱背景,数仓技术演进,业务需求出发,首先介绍了阿里云云原生数据仓库AnalyticDB的整体架构,使用场景与生态集成,产品形态与硬件平台支持,然后逐一介绍了自研向量化执行引擎,多态化存储引擎,自适应优化器,多租户资源隔离和云原生架构

浅谈数据库防火墙技术及应用

数据库防火墙仿佛是近几年来出现的一款新的安全设备,但事实上历史已经很长。2010年,Oracle公司在收购了Secerno公司,在2011年2月份正式发布了其数据库防火墙产品(database firewall),已经在市场上出现很多年头了
2023-06-03

PHP除以10000:浅谈大数据计算技术

在当今信息化社会,数据已经成为无处不在的资产,越来越多的企业和机构开始关注如何处理和分析大规模的数据,以获取更多的商业价值。在大数据处理中,PHP这一被广泛应用的编程语言也逐渐展现出其优势,尤其是在数据计算方面。PHP作为一种服务器端脚本语
PHP除以10000:浅谈大数据计算技术
2024-03-07

对数据中心停机说不,谈谈施耐德电气UPS产品的创新技术

施耐德电气正是基于市场和用户的需求,不断从技术上进行创新,持续研发出优秀的产品,赋能数据中心持续、高效、安全运转,为企业数字化转型赋能。

五分钟技术趣谈 | 图形数据库介绍

移动互联网的快速发展,服务器上存储了海量的数据,在传统关系数据库上,每次计算耗费的资源和时间是不可想象的。图形数据库应运而生,它使用简洁的形式表示数据关系,以更直观的形式构建商业数据,处理性能也得到极大提升。图形数据库在金融风控领域、社交网

浅谈大数据背景下数据库安全保障体系

在大数据背景下,数据库的安全保障管理更加复杂,为了能够更好地适应数据库管理要求,相关人员要充分发挥大数据技术优势。

浅谈电商搜索数据指标体系建设

经实战运营,上述监控体系可以较好帮助业务方定位大部分问题,提高各方效率,在此分享出来,希望对大家有所启发。

中国数据中心还以机械技术为基础,何谈先进?

随着人工智能、物联网、云计算、边缘计算等新兴技术,各行业数字化转型升级进度加快,中国将在2025年成为全球最大数据圈。

大数据关键技术浅谈之大数据存储及管理

数据存储作为大数据的核心环节之一,可以理解为方便对既定数据内容进行归档、整理和共享的过程。自磁盘系统问世以来,数据存储已经走过了近百年的历程。

五分钟技术趣谈 | 数据分析中的客户端埋点

在传统的Web APP和 Native APP开发的产品中,埋点从技术的角度来说未必多深奥,但从业务的角度来说要做到设计规范、流程高效和保证质量却很难。每个业务版本中都可能会有数据埋点工作,那工作中的数据埋点是怎么运转的呢?

大数据技术体系介绍

大数据技术体系是指在大数据环境下进行数据处理、存储、分析和挖掘的一系列技术方法和工具的集合体。大数据技术体系涵盖了数据采集、数据存储、数据处理和数据分析等多个方面,可以帮助组织和企业从大数据中获取更多的价值信息。1. 数据采集技术:包括数据
2023-10-11

五分钟技术趣谈 | MMD数据库高可用方案

本文透过项目上实践应用案例,介绍基于MHA框架实现分布式数据存储方案。
MMD数据库2024-11-30

编程热搜

目录