详细介绍了数据抽取的几种主要办法

关系数据库。从数据库中抽取数据一般有以下几种办法。

(1)全量抽取

全量抽取类似于数据迁移或数据拷贝，它将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换成自己的ETL工具可以辨别的格式。全量抽取比较简单。

(2)增量抽取

增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或纠正的数据。在ETL试用过程中。增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获办法一般有两点要求：准确性，能够将业务windows中的变化数据按一定的频率准确地捕获到;性能，不能对业务windows造成太大的压力，影响现有业务。目前增量数据抽取中常用的捕获变化数据的办法有： a.触发器：在要抽取的表上建立需要的触发器，一般要建立插入、纠正、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。触发器办法的优点是数据抽取的性能较高，缺点是要求业务表建立触发器，对业务windows有一定的影响。

b.时间戳：它是一种基于快照比较的变化数据捕获办法，在源表上增加一个时间戳字段，windows中更新纠正表数据的时候，同时纠正时间戳字段的值。当进行数据抽取时，通过比较windows时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新，即表的其它字段的数据发生改变时，自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新，这就要求业务windows在更新业务数据时，手工更新时间戳字段。同触发器办法一样，时间戳办法的性能也比较好，数据抽取相对清楚简单，但对业务windows也有很大的倾入性(加入额外的时间戳字段)，特别是对不支持时间戳的自动更新的数据库，还要求业务windows进行额外的更新时间戳操作。另外，无法捕获对时间戳以前数据的delete和update操作,在数据准确性上受到了一定的限制。

c.全表比对：典型的全表比对的办法是采用MD5校验码。ETL工具事先为要抽取的表建立一个结构类似的MD5临时表，该临时表记录源表主键以及根据所有字段的数据计算出来的MD5校验码。每次进行数据抽取时，对源表和MD5临时表进行MD5校验码的比对，从而决定源表中的数据是新增、纠正还是删除，同时更新MD5校验码。MD5办法的优点是对源windows的倾入性较小(仅需要建立一个MD5临时表)，但缺点也是显而易见的，与触发器和时间戳办法中的主动通告不同，MD5办法是被动的进行全表数据的比对，性能较差。当表中没有主键或一个列且含有重复记录时，MD5办法的准确性较差。

d.日志比较：通过分析数据库自身的日志来判断变化的数据。Oracle

Database的改变数据捕获(CDC，Changed Data Capture)技术是这方面的代表。CDC 特性是在Oracle Database9i数据库中引入的。CDC能够帮助你辨别从上次抽取之后发生变化的数据。利用CDC，在对源表进行insert、update或 delete