Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

Weka系统中的关联规则1.Apriori 2.PredictiveApriori 3.Terius

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

关联规则的基本概念

设I={i1 ,i2 ,…,im}是所有数据项的集合，相当于商品的所有种类的 集合。设任务相关的数据D是数据库所有事务的集合，其中每个事 务T是数据项的集合，使得。每一个事务有一个标识符，称作TID。 设A是一个项集，事务T包含A当且仅当。关联规则是形如的蕴涵 式，其中，,并且。规则在事务集D中成立，具有支持度s,其中s 是D中事务包含(即A和B二者)的百分比。它是概率P()。规则 在事务集D中具置信度c,如果D中包含A的事务同时也包含B的百 分比是c。这是条件概率P(B|A)。即是 Support (A=>B)=P(AUB) Confidence (A=>B)=P(B|A)。 同时满足最小支持度阈值(min_sup)和最小置信度阈值 (min_conf)的规则称作强关联规则。

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

Apriori算法综述

经典的频集算法 Agrawal等于1994年提出了一个挖掘顾客交易数据库 中项集间的关联规则的重要方法，其核心是基于两个 阶段频繁集思想的递推算法。所有支持度大于最小支 持度的项集称为频繁项集，简称频集。 算法的基本思想 首先找出所有的频繁集，这些项集出现的频繁性至少 和预定义的最小支持度一样。然后由频繁集产生强关 联规则，这些规则必须满足最小支持度和最小可信度。

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

Apriori核心算法分析为生成所有频繁集，使用了递推的方法。其核心思想简要描述如下：输入：交易数据库D,最小支持阈值min _sup; 输出：Li,D中的频繁项集； 方法： (1) L1=find_frequent_1_itemset(D); //发现1-项集 (2) For (k=2;Lk-1≠ø ;k++){ (3) Ck=apriori_gen(Lk-1,min_sup); //根据频繁(k-1)-项集产生候选k-项集 (4) For each t∈ D { //扫描数据库，确定每个候选集的支持频度 (5) Ct=subset (Ck, t); //获得t所包含的候选项集 (6) For each c∈ Ct c. count++; (7) } (8) L k={ c∈ Ct | c. count > min _sup}; (9) Return L=U k L k;

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

Procedure apriori_gen(Lk-1,min_sup) (1) for each l1∈Lk-1 (2) for each l2∈Lk-1 (3) if(l1[1]= l2[1])∧…∧(l1[k-2]= l2[k-2])∧(l1[k-1]= l2[k-1]) { (4) c= l1 join l2; //将两个项集连接到一起 (5) if has _ infrequent _ itemset (c, Lk-1) (6) delete c; //除去不可能产生频繁项集的候选 (7) else Ck=Ck {c}; (8) } (9) Return Ck; procedure has _ infrequent _ subset(c, Lk-1) (1)for each(k-1)-subset s of c (2)if sLk-1 return TRUE; else return FALSE;

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

Apriori算法的第(1)步就是发现频繁1-项集L1;在第(2)至第 (8)步，利用Lk-1产生Ck以便获得Lk。apriori_gen过程产生相应 的候选项集；然后利用Apriori性质删除那些子集为非频繁项集的候 选项集(第(3)步)。一但产生所有候选，就要扫描数据库(第 (4)步),对于数据库中的每个交易利用subset函数来帮助发现 该交易记录的

所有(已成为候选项集)的子集(第(5)步),由 此累计每个候选项集的支持频度(第(6)步)。最终满足最小支 持频度的候选项集组成了频繁项集L。这样可以利用一个过程来帮 助从所获得频繁项集中生成所有的关联规则。 Apriori过程完成两种操作，那就是连接和消减操作。在连接过程中， Lk-1与Lk-1相连接以产生潜在候选项集(Apriori算法中的第(1) 步至第(4)步);消减过程中(Apriori算法中的第(5)步至第 (6)步)利用Apriori性质消除候选项集中那些子集为非频繁项集 的项集。 可能产生大量的候选集，以及可能需要重复扫描数据库，是Apriori 算法的两大缺点。

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

PredictiveApriori算法

将置信度和支持度合并为预测精度而成为单一 度测量法 找出经过预测精度排序的关联规则

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

Terius算法

根据确认度来寻找规则，它与Apriori一样寻找 其结论中含有多重条件的规则，但不同的是这 些条件相互间是‘或’,而不是‘与’的关系。

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

实例：期货市场与现货市场之间的关联性研究

源数据介绍 数据是2004年1月到2006年8月的小麦期货市 场和现货市场的价格，其中期货市场价格来自 郑州商品交易所，选硬冬白小麦(WT609), 价格为每月的收盘价，现货市场的价格来自国 家粮油信息中心，为中等普通小麦市场批发价 格，价格数值为每个月的下旬平均价。单位均 转换为元/吨。

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

数据预处理

WEKA数据挖掘平台上的关联规则挖掘算法有 三种，分别是Apriori、PredictiveApriori和 Terius,这三个算法均不支持数值型数据。事 实上，绝大部分的关联规则算法均不支持数值 型。所以必须将数据进行处理，将数据按区段 进行划分，进行离散化分箱处理。

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

小麦期货市场和现货市场的价格数据

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

期货市场的最高价是2004年9月，价格为1700元/吨，最低价是 2006年6月，价格为1266元/吨。根据实际情况和业务需求，将价 格按高低分为5个部分，分别为高、中高、中、中低和低。其划分 方法是： 将最高价减去最低价再除以5,得价差。即(1700-1266)/5=86.8。 将最高价减去价差，得第一区间最低值，即1700-86.8=1613.2。 将第一区间最低值减去价差，得第二区间最低值，即1613.286.8=1526.4。 依步骤3,得第三区间最低值1439.6和第四区间最低值1352.8。 每个区间的最低值为下一区间的最高值。 这样就可以分为[1700,1613.2),[1613.2,1526.4), [1526.4,1439.6),[1439.6,1352.8),[1352.8,1266]。 分别用HF,HMF,MF,MLF,LF表示， 其中H为high,代表高，M为medium代表中，L为low,代表低。 F为future,代表期货市场。

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

现货市场的最高价是2004年3月，价格为1642元/吨， 最低价是2004年的

1月份，价格为1401元/吨。与期货 市场采用相同的方法进行离散化分箱操作，价差为 (1642-1401)/5=48.2,分区间可得： [1642,1593.8) 用HC表示； [1593.8,1545.6) 用HMC表示； [1545.6,1497.4) 用MC表示； [1497.4,1449.2) 用MLC表示； [1449.2,1401] 用LC表示。 其中C为current, 代表现货市场。

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

离散化分箱后数据文件

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

Weka打开数据文件

Weka的关联规则介绍,包括：apriori/Terius/PredictiveApriori

删除不需要的属性