频繁项集与关联规则Frequent Itemset Mining and Association Rules、A-Priori算法 , PCY算法

最新推荐文章于 2025-01-22 22:38:09 发布
原创 最新推荐文章于 2025-01-22 22:38:09 发布 · 3.4k 阅读 · 17
本文介绍了频繁项集和关联规则的概念，如支持度和置信度，并探讨了A-Priori算法及其工作原理，通过减少内存和时间消耗寻找频繁项集。此外，还提及了PCY算法，该算法利用散列技术优化了寻找频繁二项集的过程，特别适用于处理大量数据。

目标：寻找大量客户通常共同购买的项目
方法：使用收集的销售数据寻找频繁项集

频繁项集 Frequent Itemset

一个经典规则：如果有人买尿布和牛奶，那么他/她很可能买啤酒！
购物篮模型：描述两类对象的多对多关系。
项：商场中的不同商品
购物篮：每个顾客购买的商品总和
在这里插入图片描述

支持度support：指包含项集I的购物篮个数
通常我们会设置一个阈值S（support threshold）。如果项集I的支持度（I的子集）≥ S，那么I是频繁项集。
在这里插入图片描述
在这里插入图片描述

关联规则 Association Rules

在这里插入图片描述
可信度/置信度 confidence：

最低0.47元/天 解锁文章
Apriori改进算法——PCY算法
12-01
基于内存优化和hash桶的Apriori改进算法---PCY(park-chen-yu)算法
【大数据】六、频繁项集与关联规则（频繁项集、关联规则、A-Priori、PCY）
ywm_up
07-09 1万+
文章目录1 定义1.1 频繁项集1.2 关联规则2 A-Priori 算法2.1 例题3 更大数据集在内存中的处理3.1 PCY 算法3.2 多阶段算法3.3 多哈希算法4 有限扫描算法4.1 随机化算法4.2 SON 算法4.3 Toivonen 算法5. 流中频繁项计数 1 定义 1.1 频繁项集 支持度是项出现的次数 支持度是频繁项集的阈值 假定有个支持度闾值(support threshold) s 。如果I是一个项集， I的支持度(support) 是指包含I (即I是购物篮中项集的子集）的购
pcy 算法_大数据分析中的PCY算法
cumt30111的博客
07-16 6635
pcy 算法PCY algorithm was developed by three Chinese scientists Park, Chen, and Yu. This is an algorithm used in the field of big data analytics for the frequent itemset mining when the dataset is very ...
关联规则常用算法
热门推荐
夏栀的博客
07-03 4万+
关联规则常用算法   关联规则（Association Rules）是海量数据挖掘（Mining Massive Datasets，MMDs）非常经典的任务，其主要目标是试图从一系列事务集中挖掘出频繁项以及对应的关联规则。关联规则来自于一个家喻户晓的“啤酒与尿布”的故事，本文通过故事来引出关联规则的方法。 啤酒与尿布的故事   在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这不是一个笑话，而是发生在美国沃尔玛连锁店超市的真实案例，并一直为商家
关联规则挖掘
yinlili2010的专栏
10-17 8974
一、初步理解   关联规则是数据挖掘技术的一个活跃的研究方向之一，其反映出项目集之间有意义的关联关系。关联规则可以广泛地应用于各个领域，既可以检验行业内长期形成的知识模式，也能够发现隐藏的新规律。有效地发现、理解和运用关联规则是数据挖掘任务的一个重要手段。 在处理大量数据时，很重要的一点是要理解不同实体间相互关联的规律。通常，发现这些规律是个极为复杂的过程。关联规则是一种十分简单却功能强大的、
数据挖掘中的关联规则--面向频繁项集的A-Priori算法
最新发布
m0_56243424的博客
01-22 1252
PCY（Park-Chen-Yu）算法是对 A-Priori 算法的改进，主要通过在第一遍扫描中创建哈希表来优化项对计数的过程。数据集中包含了多笔交易记录，每笔交易记录由顾客购买的商品组成。
频繁项集，频繁闭项集，最大频繁项集
Phoenix_tgd的博客
09-14 2万+
转自：https://blog.csdn.net/u013007900/article/details/54743395 Frequent Itemset(频繁项集) 称I={i1,i2,...,im}为项(Item)的集合，D={T1,T2,...,Tn}，i∈[1,n]为事务数据集(Transaction Data Itemsets)，事务Ti由I中若干项组成。 设S为由项组成的一个集合...
频繁模式、序列挖掘
weixin_40650252的博客
07-14 526
版权声明：本文为CSDN博主「谷雨逝」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/weixin_43919172/article/details/107018968 频繁项集挖掘（Frequent Itemset Mining） 序列挖掘（Sequence Mining） 频繁项集挖掘 Apriori Apriori是第一个基于自底向上的关联规则挖掘算法，它迭代地扫描着数据集。在每次迭代中，算法构建...
基于海量数据的关联规则挖掘（七）
glorychen1的专栏
01-13 1223
Multihash 算法 有时我们从multistage算法的额外的步骤中获取好处。这个PCY的变形叫做Multihash[7]算法。不同于在连续的两个步骤中使用两个哈希表，该算法在一步中使用两个哈希算法和两个分离的哈希表。如表6.7所述。 在同一步里使用两个hash表的危险是每个哈希表仅有PCY算法的一半的桶。只要PCY算法的桶的平均计数比支持度阈值低，我们就可以预见大部分的桶都是非频繁桶，
Apriori关联分析与频繁项集
LaoChen_ZeroonE
03-15 2383
Apriori关联分析与频繁项集 关联分析是一种在大规模数据集中寻找关系的任务。这些关系可以有两种形式：频繁项集或者关联规则。频繁项集（frequent item sets）是经常出现在一块的物品的集合，关联规则（association rules）暗示两种物品之间可能存在很强的关系。 频繁项集是指那些经常出现在一起的物品集合，图中集合{葡萄酒，尿布，豆奶}就是频繁项集的一个例子。而尿布——葡萄...
Frequent Itemset Mining 频繁项集查找
学习笔记
07-07 734
频繁项集查找算法 假设1）数据库不更新，2）内存无限大 Apriori：频繁项集的子集一定频繁 Eclat：垂直tid-list，切分search space FP-Growth：将数据库里的频繁项集以一种压缩的方式储存于树中 去除假设1） CanTree：用FP-Tree的方式储存所有数据库交易 ZigZag 去除假设2） 并行，分布式 ...
数据挖掘之关联规则挖掘的一些定义
Dove_1234的博客
03-16 1198
有一个简单而粗鲁的方法可以找出所需要的规则，那就是穷举项集的所有组合，并测试每个组合是否满足条件，一个元素个数为n的项集的组合个数为2^n-1(除去空集)，所需要的时间复杂度明显为O(2^N)，对于普通的超市，其商品的项集数也在1万以上，用指数时间复杂度的算法不能在可接受的时间内解决问题。注意，如果一个频繁项集是{A,B}，那么可能的一个关联规则是A->B,说明某人买了A，大概率也会买B，但顺序反过来是不成立的。3、计算所有的关联规则的置信度，移除小于最小置信度的规则，得到强关联规则。
频繁项集挖掘之apriori和fp-growth
lgnlgn的专栏
05-30 1万+
Apriori和fp-growth是频繁项集(frequent itemset mining)挖掘中的两个经典算法，虽然都是十几年前的，但是理解这两个算法对数据挖掘和学习算法都有很大好处。在理解这两个算法之前，应该先了解频繁项集挖掘是做什么用的。 频繁项集挖掘是关联规则挖掘中的首要的子任务。关联规则挖掘是要找出一个数据集上，满足一定条件的项集。这些项的集合能构成 形如蕴含式"A=>B"这样的
基于海量数据的关联规则挖掘（五）
glorychen1的专栏
01-13 2416
2.1基于hash的方法 首先是基于哈希的算法。基于哈希的算法仍是将所有所有数据放入内存的方法。只要在计算的过程中能够满足算法对内存的大量需求，Apriori算法能够很好的执行。但在计算候选项集时特别是在计算候选项对C2时需要消耗大量内存。针对C2候选项对过大，一些算法提出用来减少C2的大小。这里我们首先考虑PCY算法，这个算法使用了在Apriori算法的第一步里大量没使用的内存。接着，我们考虑
海量数据挖掘MMDS week2: 频繁项集挖掘 Apriori算法的改进：基于hash的方法
皮皮blog
10-04 1万+
http://blog.csdn.net/pipisorry/article/details/48901217 海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记之关联规则Apriori算法的改进：基于hash的方法：PCY算法, Multistage算法, Multihash算法 Apriori算法的改进 {
从啤酒和尿布讲关联规则，大数据集处理算法Apriori以及改进的PCY算法
ChainingBlocks
09-29 1万+
本文将讲解关联规则的相关概念、处理相关规则的一般算法、改进的大数据处理关联规则的Apriori算法以及进一步优化的PCY算法。啤酒和尿布的故事已经广为人晓。很多年轻的父亲买尿布的时候会顺便为自己买一瓶啤酒。亚马逊通过用户购买数据，使用关联规则，使用大数据的处理手段得出了尿布和啤酒的关系。除了啤酒和尿布，现实生活中存在很多类似的关联关系，一般归纳为： A事件发生，B事件很可能也会发生。 注意这里存
频繁项集挖掘以及关联规则的基本概念
qq_39872456的博客
02-11 4686
一.几个基本概念 1.支持度计数：即包含含特定项集的事务个数。 2.支持度： 计算方式：对于关联规则X–>Y，s=support(X∪Y）/N，其中，N为事务的个数，support(X∪Y)为项集{X，Y}的支持度计数。 3.置信度：对于关联规则X–>Y，c=support(X∪Y）/support(X)。 4.为什么要使用支持度和置信度？ 支持度：是一种重要度量，因为支持度很低的规则可能只是偶然出现。因此，支持度通常用来删去那些毫无意义的规则。 置信度：对于给定的规则X–>Y,置信度越高
关联规则Apriori算法
UncleDong的博客
10-20 1万+
参考《【机器学习实战-python3】使用Apriori算法进行关联 分析》,《 使用Apriori进行关联分析（一）》,《使用Apriori进行关联分析（二）》,《关于apriori算法中置信度、支持度怎么理解的问题》 文章目录1. 频繁项集(frequent item sets)1.1 频繁项集的支持度(support)和阈值1.2 频繁项集的特点1.3 频繁项集计算方法 关联规则的目的在于分析出经常出现在一起的物品的集合之间的关系。Apriori算法本质由两部分组成，分别是 频繁项集(frequ.
PCA算法和实例
neal1991的专栏
06-20 1万+
PCA算法算法步骤： 假设有m条n维数据。 1. 将原始数据按列组成n行m列矩阵X 2. 将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值 3. 求出协方差矩阵C=1/mXXT 4. 求出协方差矩阵的特征值以及对应的特征向量 5. 将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P 6. Y=PX即为降维到k维后的数据实例 以这个为例，我们用PCA
arules：频繁项集与关联规则的挖掘
jiyeqian的专栏
05-24 2万+
本文是对R中arules包的随包文档“Introduction to arules – A computational environment for mining association rules and frequent item sets”的意译。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值