大数据平台数据治理项目建设方案

大数据平台数据治理项目建设方案V6.0

大数据平台数据治理项目

建

设

方

案

大数据平台数据治理项目建设方案V6.0

目录

第1章方案总述 (1)

1.1前言 (1)

1.2项目背景 (1)

1.3项目目标 (2)

1.4项目建设原则 (3)

第2章系统建设规划 (4)

2.1项目建设目标的理解 (4)

2.1.1 项目建设范围 (5)

2.1.1.1 业务范围 (5)

2.1.1.2 组织范围 (5)

2.1.1.3 数据范围 (5)

2.1.2 项目建设内容 (5)

2.1.2.1 基础数据平台 (5)

2.1.2.2 集团级指标体系 (7)

2.1.2.3 统一报表平台 (7)

2.2集团数据平台的建设目标 (7)

2.2.1 集团数据平台一期建设目标 (7)

2.2.2 集团数据平台二期建设目标 (8)

第3章整体设计方案 (9)

3.1系统设计方法论 (9)

大数据平台数据治理项目建设方案V6.0

3.1.1 方法论 (9)

3.1.2 设计原则 (11)

3.1.2.1 标准规范 (11)

3.1.2.2 开放性 (12)

3.1.2.3 可扩展性 (13)

3.1.2.4 高性能 (14)

3.1.2.5 可管理性 (14)

3.1.2.6 高可用性 (15)

3.1.2.7 安全性 (16)

3.1.2.8 可重用性 (17)

3.2数据平台技术体系 (18)

3.2.1 数据平台逻辑架构 (18)

3.2.1.1 数据集成区 (19)

3.2.1.2 集团分析型数据区 (19)

3.2.1.3 管理平台区 (20)

3.2.1.4 统一报表展现平台 (20)

3.2.1.5 ETL设计关键技术点说明 (21)

3.2.1.5.1.1 ETL处理策略 (21)

3.2.1.5.1.2 ETL处理流程 (21)

3.2.1.5.2 质量检核 (22)

3.2.1.5.2.1 ETL处理原则 (22)

3.2.1.5.2.2 ETL处理方法 (22)

3.2.2 数据采集设计 (22)

3.2.2.1 T+1数据采集 (23)

3.2.2.2 数据补录 (24)

3.2.2.2.1 检核规则管理 (25)

大数据平台数据治理项目建设方案V6.0

3.2.2.2.2 录入任务管理 (25)

3.2.2.2.3 数据录入 (27)

3.2.2.2.4 查询操作 (28)

3.2.2.2.5 录入任务审批 (29)

3.3数据平台数据体系 (29)

3.3.1 数据架构设计 (29)

3.3.1.1 源系统数据落地区 (30)

3.3.1.2 缓冲数据层(ODM) (31)

3.3.1.3 基础整合层（FDM） (31)

3.3.1.4 共性加工层（ADM） (32)

3.3.1.5 数据集市层（MDM） (32)

3.3.1.6 各层次数据特点对比 (33)

3.3.2 数据模型设计 (35)

3.3.2.1 基础整合层 (35)

3.3.2.2 共性加工层 (35)

3.3.2.2.1 共性层模型设计思路 (35)

3.3.2.2.2 共性加工层模型建设方法 (37)

3.3.2.2.2.1 存储什么数据：存储具有一定程度汇总的指标 (37)

3.3.2.2.2.2 数据如何获取：指标分类和指标ID (38)

3.3.2.2.2.3 数据如何存储：星型模型 (38)

3.3.2.2.2.4 如何适应多应用系统共性数据存储的需求：与业务需求轻耦合 (39)

3.3.2.2.2.5 如何适应指标频繁变化的要求：具有高度的扩展性 (40)

3.3.2.2.3 共性加工层当前目标 (42)

3.3.2.2.4 共性加工层远景目标 (43)

3.3.2.2.4.1 完善贵公司数据平台及之上的应用系统数据架构 (43)

3.3.2.2.4.2 扩展共性加工层指标数据 (44)

3.3.2.2.4.3 关于共性加工层主题划分 (44)

大数据平台数据治理项目建设方案V6.0

3.3.2.3 集市数据层 (44)

3.3.3 灵活查询功能架构 (45)

3.3.4 数据备份与恢复 (46)

3.3.4.1 数据备份与恢复实施思路 (46)

3.3.4.2 数据备份机制 (47)

3.3.4.3 数据恢复机制 (47)

3.3.4.4 数据清理机制 (48)

3.3.4.5 存储空间规划 (48)

3.4数据平台应用体系 (50)

3.4.1 统一报表平台 (50)

3.4.1.1 报表管理模块 (50)

3.4.1.1.1 系统管理 (51)

3.4.1.1.1.1 支持主流关系型业务数据源 (51)

3.4.1.1.1.2 支持多种数据集类型 (51)

3.4.1.1.1.3 基于RBAC模型的权限控制模式 (52)

3.4.1.1.1.3.1 可配置的权限控制项 (54)

3.4.1.1.1.3.2 资源权限 (55)

3.4.1.1.1.3.3 报表数据权限 (56)

3.4.1.1.1.4 对角色授权 (56)

3.4.1.1.1.4.1 权限对照设置 (56)

3.4.1.1.1.4.2 角色权限复制 (57)

3.4.1.1.1.4.3 角色权限查看 (58)

3.4.1.1.1.5 可配置的系统资源 (58)

3.4.1.1.1.5.1 菜单项管理 (58)

3.4.1.1.1.5.2 系统日志管理 (59)

3.4.1.1.1.5.3 公告管理 (59)

大数据平台数据治理项目建设方案V6.0

3.4.1.1.1.5.4 通用代码管理 (59)

3.4.1.1.2 报表管理 (60)

3.4.1.1.2.1 提供统一的报表管理方式 (60)

3.4.1.1.2.1.1 统一的报表服务器管理 (61)

3.4.1.1.2.1.2 统一的参数模板管理 (61)

3.4.1.1.2.1.3 统一的报表发布方式 (63)

3.4.1.1.2.1.4 统一的报表资源管理 (63)

3.4.1.1.2.2 报表生命周期管理 (64)

3.4.1.1.2.3 调度式自动执行报表 (64)

3.4.1.1.2.4 支持多种报表缓存方式 (65)

3.4.1.1.2.5 支持历史数据追数 (67)

3.4.1.1.2.6 支持制度包导入更新 (68)

3.4.1.1.3 指标管理 (68)

3.4.1.1.3.1 指标逻辑架构 (68)

3.4.1.1.3.2 指标数据流程 (68)

3.4.1.1.3.3 功能框架 (69)

3.4.1.1.3.4 指标引擎 (69)

3.4.1.1.3.4.1 指标引擎框架 (69)

3.4.1.1.3.4.2 指标引擎功能 (70)

3.4.1.1.3.4.3 派生指标定义优化器 (70)

3.4.1.1.3.4.4 指标分类组装 (71)

3.4.1.1.3.4.5 指标运算调度器 (71)

3.4.1.1.3.4.6 指标运算器 (72)

3.4.1.1.3.4.7 数据回写器 (72)

3.4.1.1.3.5 指标管理 (72)

3.4.1.1.3.5.1 基础指标信息维护 (73)

3.4.1.1.3.5.2 派生指标信息维护 (73)

3.4.1.1.3.5.3 派生指标公式维护 (74)

大数据平台数据治理项目建设方案V6.0

3.4.1.1.3.5.4 指标权限管理 (76)

3.4.1.1.3.5.5 指标计算 …… 此处隐藏：7308字，全部文档内容请下载后查看。喜欢就下载吧 ……