数据中台技术架构方法论与实践

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

数据中台技术架构方法论与实践

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

目录

1、建设背景与目标

2、技术架构与思路

3、构建过程：

1.PaaS

2.DaaS

3.DA

4、未来发展方向

5、建设经验总结

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

1

、转转数据中台的背景与目标

广告、注册、搜索推荐、风控、IM 、支付、客服…复杂生态APP、小程序、垂类；线上、线下；C2X，B2B，X2C 纵深链路

MVP

30+1400+

圈子、拍卖、寄卖、回收、自营、视频，切客…

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

1、转转数据中台的背景与目标

5流程规范烟囱模式孤岛重复指标重复时间保障

数据安全数据共享形式单一临时取数响应及时

外部业务：数据脏、乱、差，业务不满意

内部研发：疲于奔命、四处救火，普遍苦恼SQL-Boy，人肉提数机

方案：数据中台建设

目标：复用、赋能、降本提效

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

数据中台

1、建设背景与目标

2、技术架构与思路

3、构建过程：

1.PaaS

2.DaaS

3.DA

4、未来发展方向

5、建设经验总结

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

数据资源集中全域数据

技术

基础架构

全链路

产品

能力复用

赋能业务

组织

企业级

平台

2、转转数据中台技术架构与思路

到底什么是数据中台？有什么特点？

7

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

2、数据中台技术架构与思路8数据应用

/业务反馈DA （数据应用层）服务业务化

BI 报表渠道分析商品分析交易分析数据产品智能挖掘自助报表精细化推送业务系统商品系统财务系统应用治理指标字典数据统计/用户分析订单分析行为分析画像档案事件漏斗A/B Test 运营系统客服系统血缘关系分析/挖掘搜索推荐竞品分析商业分析自助留存监控告警电视看板搜索推荐质检系统数据地图

DaaS （Data-as-a-Service ）

资产服务化

留存模型主题表事件模型主题表数据集市层画像提取平台实时自助框架生命周期管理质量安全管理数据建模数据仓库层

/存储用户主题商品主题交易主题收入主题广告主题行为主题

前端埋点后端日志源数据层

业务数据库三方广告战略竞对线下表单数据资产化

PaaS （Platform-as-a-Service ）

数据传输MapReduce Spark 数据计算层

Storm Flink Kylin Druid

实时/批量HDFS Hive 数据存储层

HBase MySQL TiDB ZZRedis 数据采集Flume Sqoop 数据传输层

Kafka Lego WS Server 业务数据化

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

转转数据中台

1、建设背景与目标

2、技术架构与思路

3、构建过程：

1.PaaS

2.DaaS

3.DA

4、未来发展方向

5、建设经验总结

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

3、转转数据中台构建过程：PaaS

zzdp大数据平台

目标

–高可用、高性能、可扩展的大数据全链路一站式解决方案

核心组件/功能

–Flink、Flume、Kafka、Hadoop、Spark、HBase等存储计算框架

–Docker云平台日志采集系统

–苍鹰大数据管理平台

–Skynet 调度平台

10

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

3

、转转数据中台构建过程：PaaS 11PaaS （Platform-as-a-Service ）

Skynet 调度平台Flink Spark 数据计算层

Storm MapReduce Kylin Druid

苍鹰数据治理平台HDFS Kafka 数据存储层

TiDB HBase MySQL ZZRedis

Lego 日志采集平台SDK Docker 异构数据源

Server DB Spider AD

基础架构,应用解决方案,云计算,大数据,数据中心,智慧IT,IT架构,人工智能相关的产品白皮书,技术方案,技术架构介绍,适合IT技术专业人士阅读参考

苍鹰大数据管理平台：

为集群提供立体监控、自助化、可视化运维服务，保障高可用 核心 …… 此处隐藏：1573字，全部文档内容请下载后查看。喜欢就下载吧 ……