数据库同步机制

2011-3-31

Security Level:

数据同步原理

http://

HUAWEI TECHNOLOGIES CO., LTD.

Huawei Confidential

数据库同步机制

Contents1

数据同步组网概述 同步CBP 同步SCP

2

3

HUAWEI TECHNOLOGIES CO., LTD.

Huawei Confidential

Page 2

数据库同步机制

数据同步组网概述BMP的数据同步的网元有CBP、SCP、GFEP,其中和SCP和GFEP的 交互采用同一个组件LDS,暂时归纳到同步SCP中。对应的组网图如下：de pl oy m en t Bu s in es s Pr o ce ss M od e l CB P ( 1 ~ N )

用户数据同步/产品数据同步

Da ta ba se ( 1 ~ N )

BM P ( 1 ~ N ) 用户数据同步/单表数据同步

SCP(1~N)

短信

G FE P ( 1 ~ N )

HUAWEI TECHNOLOGIES CO., LTD.

Huawei Confidential

Page 3

数据库同步机制

Contents1

数据同步组网概述 同步CBP 同步SCP

2

3

HUAWEI TECHNOLOGIES CO., LTD.

Huawei Confidential

Page 4

数据库同步机制

使用场景用户数据同步 所有和内存库(SMDB)有交互的业务都需要使用同步CBP功能， 如开户、综合查询、充值、转帐等。 产品数据同步 操作员在操作的时候，有选择的同步产品的私有和公有数据。

HUAWEI TECHNOLOGIES CO., LTD.

Huawei Confidential

Page 5

数据库同步机制

方案概述-用户数据同步BMP数据同步CBP采用SOAP协议，在CBP侧通过SoapAdapter提供 WebService的服务，BMP作为客户端与SoapAdapter进行交互。BMP与CBP两 个部件之间的交互经过多个组件，为了防止单组件的故障影响其它业务， 在每个组件之间的调用都设置了超时。

HUAWEI TECHNOLOGIES CO., LTD.

Huawei Confidential

Page 6

数据库同步机制

同步时序-用户数据同步sd 用户数 据同步 BMP 外部系统 seq CBP SOAPAdapter CBPAgent CBE/SMDB/DAS 外部请求() 内部校验() BMP请求() 超时返回() SoapAdapter请求()

超时返回() 超时返回() CBPAgent返回() Soap消息返回() 向外部返回()

(from 数据同步)

(from 数据同步)

HUAWEI TECHNOLOGIES CO., LTD.

Huawei Confidential

Page 7

数据库同步机制

为了隔离CBP故障(如部分节点宕机或者处理慢),BMP在调用CBP 之前下面处理： 1、状态验证 BMP会通过心跳线程检测CBP的状态并保存下来，在向CBP发送消息 之前，检查该节点状态，如果CBP状态为Not Active,则直接返回不发送。 心跳线程默认10秒检测一次，失败检测次数为3次，失败间隔时间为1秒。 2、连接数限制 由于BMP资源是共享的，对于访问CBP的并发数做了限制。默认单个 CBP访问并发数为40个，访问所有CBP的并发数总和为200个。 3、超时 默认在网络层Socket超时设置为20秒，业务处理超时18秒。

HUAWEI TECHNOLOGIES CO., LTD.

Huawei Confidential

Page 8

数据库同步机制

配置文件-用户数据同步序 号 超时参数含义 在外部系统配置 $HOME/jboss/server/default/deploy/smap.ear/default.war/WE B-INF/lib/pmp-service-common.jar中的bme_parameter.xml文 件里配置 单位(毫秒) ENIP.Individual.DOID://00000004/005000BE/00004A38/0000 4A38.SoapAdapterSOAOvertime=16000 单位(毫秒) /home

2/cbpb04/ext/cbe/data/CBPAgent/CBPAgent.ini DSTimeOut = 12 /home2/cbpb04/ext/cbe/data/CBPAgent/CBPAgent.ini SMDBTimeOut = 60 600 对应配置项 默认值(秒) 1 外部系统 2 BMP 与 SOAPAdapter

3 SOAPAdapter与 CBPAgent 4 CBPAgent与CBE 业务配置 5 CBPAgent与 SMDB

16

12

60 7

6 CBPAgent与DAS /home2/cbpb04/ext/cbe/data/CBPAgent/CBPAgent.ini C++ PhyDBTimeOut = 7 各组件之间超时配置表

HUAWEI TECHNOLOGIES CO., LTD.

Huawei Confidential

Page 9

数据库同步机制

同步时序-产品数据同步sd 3 . 2 产品数据同步 BMP 运营人员 1维护公有数据B表() 1.1更新B表() 2维护A产品() 2.1更新A产品数据() 3加载A产品() 3.1导出数据() 返回文件() 3.2生成数据包() 3.2.1将数据包SFTP到CBP() 3.3发送加载命令() 3.3.1加载命令() 命令应答() 返回命令响应() 4获取主区数据库地址() 数据返回() 5获取加载数据() 数据返回() 6持久化数据() 7读取旧数据() 数据返回() 8获取全量数据() 9更新数据备份区() 10主备切换数据区() 11读取旧数据() 数据返回() 12获取主区数据库地址() 数据返回() 13Sleep() 3.4查询加载情况() 3.4.1查询加载日志表() 加载情况() 加载情况() 加载情况() BMPDB CBPAgent CBP CBP数据管理服 务 SMDB CBP共享数据区1 CBP共享数据区2 CBE应用

(from 数据同步)

(from 数据同步)

(from 数据同步) (from 数据同步)

(from 数据同步)

HUAWEI TECHNOLOGIES CO., LTD.

Huawei Confidential

Page 10

数据库同步机制

产品数据同步步骤1. 2. 3. 操作员在SMAP界面维护数据，包括产品私有数据和公有数据。 BMP将数据变化 记录到物理库中。 在操作员完成数据的维护操作后，可选择是否加载同步这些数据。 操作员选择要加载同步的目标CBP节点(默认为所有),执行加载操作。BMP系 统收集本次同步涉及的数据，生成“数据加载文件包”,公有数据以表为单位， 一个表一个文件；产品私有数据以产品为单位。并将此文件包以SFTP方式传送 到要加载的CBP节点上。 BMP发送加载文件包后，以消息形式(通过CBPAgent)向CBP发送数据加载命令， 触发CBP数据加载操作，CBP在返回响应消息后，执行同步加载处理。 BMP定时通过CBPAgent消息查询内存库中的“CBP加载日志表”(TC_SYNC_LOG) 表，获取加载 …… 此处隐藏：3351字，全部文档内容请下载后查看。喜欢就下载吧 ……