ETL工作流活动优先级的确定及并行实现(4)

发布时间：2021-06-05

工作流技术介绍

实验的方法分别是将两个数据抽取操作并行执行（这两个抽取操作不存在依赖关系），以及将这两个数据抽取操作串行执行，即一个操作结束后才启动另一个操作（以下的分析中将这两种方法简称为并行方法与串行方法）。每一组实验数据都是三次实验数据取平均值的结果。

实验场景一　数据源Ｓ１位于ＳＱＬＳｅｒｖｅｒ数据库中，数据源Ｓ２位于Ｏｒａｃｌｅ数据库中，工作数据库位于ＳＱＬＳｅｒｖｅｒ数据库中。表１是实验数据。

表１　场景一实验数据

数据元组数１０００５０００１００００２００００５００００１０００００

并行方法／ｍｓ

３６７７７８９６１２３１３２１９４３５３７６５１０７３６５

串行方法／ｍｓ

５５６８１３４１１２２２２４４１８３３１０４７７１２１１７８６

加速比１．５１１．７０１．８０１．９１１．９５１．９７

模型主要是建立数据源与数据仓库之间的映射关系，而ＥＴＬ逻辑模型则主要是确定流程中各个活动的执行优先级及其语义。本文通过一个电子商务的例子阐述了建立ＥＴＬ概念模型和逻辑模型的过程，提出了一个算法，分析ＥＴＬ工作流并计算工作流中各个活动的执行优先级，将优先级相同并且相互之间没有依赖关系的活动放在同一个执行阶段，通过创建多个线程并行执行这些活动，提高了ＥＴＬ工作流的执行效率。实验数据表明，该算法与现有的串行算法比较在时间效率方面具有较大优势，并且随着数据量增大，加速比提高，当参与计算的数据量比较大时，加速比可以趋近于理想值。数据仓库环境中的ＥＴＬ工具经常需要处理海量数据，这个算法对于ＥＴＬ工具性能的提高具有较强的实用性。参考文献：

［１］ＳＴＲＡＮＧＥＫ．ＥＴＬｗａｓｔｈｅｋｅｙｔｏｔｈｉｓｄａｔａｗａｒｅｈｏｕｓｅ’ｓｓｕｃｃｅｓｓ，

ＴｅｃｈｎｉｃａｌＲｅｐｏｒｔＣＳ唱１５唱３１４３［Ｒ］．２００２．

［２］ＶＡＳＳＩＬＩＡＤＩＳＰ，ＳＩＭＩＴＳＩＳＡ，ＳＫＩＡＤＯＰＯＵＬＯＳＳ．Ｃｏｎｃｅｐｔｕａｌｍｏｄｅ唱

ｓｈｏｐｏｎＤａｔａＷａｒｅｈｏｕｓｉｎｇａｎｄＯＬＡＰ．２００２：１４唱２１．

ｌｉｎｇｆｏｒＥＴＬｐｒｏｃｅｓｓｅｓ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ５ｔｈＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＷｏｒ唱ＳＩＭＩＴＳＩＳＡ，ＶＡＳＳＩＬＩＡＤＩＳＰ．Ａｍｅｔｈｏｄｏｌｏｇｙｆｏｒｔｈｅｃｏｎｃｅｐｔｕａｌｎｅｅｒｉｎｇ．２００３：３０５唱３１６

ｍｏｄｅｌｉｎｇｏｆＥＴＬｐｒｏｃｅｓｓｅｓ［Ｃ］／／ＰｒｏｃｏｆｔｈｅＤｅｃｉｓｉｏｎＳｙｓｔｅｍｓＥｎｇｉ唱

　　实验场景二　数据源Ｓ１位于ＳＱＬＳｅｒｖｅｒ数据库中，数据源Ｓ２位于ＭｙＳＱＬ数据库中，工作数据库位于ＳＱＬＳｅｒｖｅｒ数据库中。表２是实验数据。

表２　场景二实验数据

数据元组数１０００５０００１００００２００００５００００１０００００

并行方法／ｍｓ

３８４３７８０２１２５６３２３３９６５５３０２１１２３２８

串行方法／ｍｓ

５４１６１３４５３１２５６３４２８９４１０３０５９２０９８４４

加速比１．４１１．７２１．８３１．８３１．８６１．８７

［３］

［４］ＴＲＵＪＩＬＬＯＪ，ＬＵＪＡＮ唱ＭＯＲＡＳ．ＡＵＭＬｂａｓｅｄａｐｐｒｏａｃｈｆｏｒｍｏｄｅｌｉｎｇ

ＥＴＬｐｒｏｃｅｓｓｅｓｉｎｄａｔａｗａｒｅｈｏｕｓｅ［Ｃ］／／ＰｒｏｃｏｆＬＮＣＳ，ｖｏｌ２８１３．２００３：３０７唱３２０．

［５］ＶＡＳＳＩＬＩＡＤＩＳＰ，ＳＩＭＩＴＳＩＳＡ，ＧＥＯＲＧＡＮＴＡＳＰ，ｅｔａｌ．Ａｇｅｎｅｒｉｃ

ａｎｄｃｕｓｔｏｍｉｚａｂｌｅｆｒａｍｅｗｏｒｋｆｏｒｔｈｅｄｅｓｉｇｎｏｆＥＴＬｓｃｅｎａｒｉｏｓ［Ｊ］．Ｉｎ唱ＶＡＳＳＩＬＩＡＤＩＳＰ，ＳＩＭＩＴＳＩＳＡ，ＳＫＩＡＤＯＰＯＵＬＯＳＳ．ＭｏｄｅｌｉｎｇＥＴＬＤｅｃｉｓｉｏｎａｎｄＭａｎａｇｅｍｅｎｔｏｆＤａｔａＷａｒｅｈｏｕｓｅｓ．２００２：５２唱６１．ａｃｔｉｖｉｔｉｅｓａｓｇｒａｐｈｓ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ４ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＷｏｒｋｓｈｏｐｏｎ

　　由上面的实验数据可以看出，本文所提出的算法可以有效提高ＥＴＬ工作流的执行效率。本实验中，并行执行的活动数为２，理想情况下加速比为２，实验结果显示实际加速比在１．４～２．０，当数据量增大时，加速比也随着增大。这是因为当一个活动所处理的数据量比较小时，迁移数据本身所需要的时间也比较少，而创建线程需要一定的时间开销，此时占用的比例较大；而当处理的数据量比较大时，创建线程所需要的时间占总时间的比例下降，达到了比较好的加速比。ＥＴＬ工具所处理的数据量通常情况下都比较大，本文所提出的这个算法所带来时间效率的提高是比较明显的，具有很强的实用性。

ｆｏｒｍａｔｉｏｎＳｕｐｐｏｒｔＳｙｓｔｅｍｓ，２００５，３０（７）：４９２唱５２５．［６］

［７］ＳＩＭＩＴＳＩＳＡ，ＶＡＳＳＩＬＩＡＤＩＳＰ．Ａｍｅｔｈｏｄｆｏｒｔｈｅｍａｐｐｉｎｇｏｆｃｏｎｃｅｐ唱

ｔｕａｌｄｅｓｉｇｎｓｔｏｌｏｇｉｃａｌｂｌｕｅｐｒｉｎｔｓｆｏｒＥＴＬｐｒｏｃｅｓｓｅｓ［Ｊ］．ＤｅｃｉｓｉｏｎＳｕｐｐｏｒｔＳｙｓｔｅｍｓ，２００８，４５（１）：２２唱４０．

［８］张忠平，赵瑞珍．基于结构图的ＥＴＬ过程建模方法［Ｊ］．计算机应

用研究，２００８，２５（１１）：３３５４唱３３５６．

［９］张旭峰，孙未未，汪卫，等．增量ＥＴＬ过程自动化产生方法的研究

［Ｊ］．计算机研究与发展，２００６，４３（６）：１０９７唱１１０３．

４　结束语

本文首先介绍了ＥＴＬ的概念模型和逻辑模型，ＥＴＬ概念

（上接第５３６页）

［２４］ＢＡＸＴＥＲＩＤ，ＹＡＨＩＮＡ，ＭＯＵＲＡＬＭＤ，ｅｔａｌ．Ｃｌｏｎｅｄｅｔｅｃｔｉｏｎ

ｕｓｉｎｇａｂｓｔｒａｃｔｓｙｎｔａｘｔｒｅｅｓ［Ｃ］／／ＰｒｏｃｏｆＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ１９９８：３６８唱３７７．