海量数据去重，hash、布隆过滤器以及hyperloglog丨c/c++linux服务器开发丨后端开发丨Linux后台开发丨底层原理

最新推荐文章于 2026-06-09 20:07:16 发布
原创 最新推荐文章于 2026-06-09 20:07:16 发布 · 209 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
Linux服务器开发

当前文章被收录于：

Linux服务器开发
416 篇文章 36 人学习
订阅专栏 查看详情
后端开发

当前文章被收录于：

后端开发
296 篇文章 5 人学习
订阅专栏 查看详情
linux网络编程

当前文章被收录于：

linux网络编程
60 篇文章 1 人学习
订阅专栏 查看详情

海量数据去重，hash、布隆过滤器以及hyperloglog

视频讲解如下，点击观看：

海量数据去重，hash、布隆过滤器以及hyperloglog丨c/c++linux服务器开发丨后端开发丨Linux后台开发丨底层原理

C/C++Linux服务器开发高级架构师知识点精彩内容包括:C/C++，Linux，Nginx，ZeroMQ，MySQL，Redis，MongoDB，ZK，流媒体，P2P，音视频开发，Linux内核，Docker，TCP/IP，协程，DPDK多个高级知识点分享。

点击链接进入订阅不迷路随时观看：C/C++Linux服务器开发/Linux后台架构师-学习视频

Linux服务器开发高级架构qun：720209036。   更多Linux服务器开发精彩内容关注VX公众号：Linux服务器

标签
#hyperloglog #布隆过滤器 #数据库 #后端开发 #linux服务器开发
HyperLogLog_hyperloglog算法_hyperloglog_
09-28
hyperloglog算法实现，实现语言C++，从概率角度统计集合的基数，非常使用的算法
海量数据去重的Hash、bitmap、BloomFilter、分布式一致性hash
qq_29750559的博客
06-05 1784
布隆过滤器是一种概率型数据结构，它的特点是高效地插入和查询，能确定某个字符串一定不存在或者可能存在；优缺点：布隆过滤器相⽐传统的查询结构（例如：hash，set，map等数据结构）更加⾼效，占⽤空间更⼩，但是确定是它返回的结果是概率性的，结果存在一定的误差，误差可控，同时不支持删除操作构成：位图（bit数组）+ n个hash函数。
海量数据去重
hanhan的博客
11-24 3274
海量数据去重 一个文件中有40亿条数据，每条数据是一个32位的数字串，设计算法对其去重，相同的数字串仅保留一个，内存限制1G. 方法一：排序 对所有数字串进行排序，重复的数据传必然相邻，保留第一个，去除后面重复的数字串即可。 缺点是排序时间复杂度太高，并且显然是需要内排序+外排序一起的。优化的方法有扫雪机模型。 方法二：哈希表 + 文件分割 当然还有一种方法，取32位的前n位做一个哈希，然后把哈希值一样的数据串放到一个文件里面。然后每次将一个文件load到内存中，然后对这个文件中的数据做个排序 or 哈希去
50 亿数据如何去重&排序？海量数据去重、Top-k、BitMap问题整理
qq_44591181的博客
05-14 4032
1.Hash算法处理海量数据部分【题目1】给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？【题目2】海量日志数据，提取出某日访问百度次数最多的那个IP。【题目3】有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。【题目4】有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。
史上最全Redis总结，你想知道的都在这里啦
HollisChuang's Blog
12-04 1070
作者：兔子hebtu666 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn....
redis五种数据类型的应用场景_redis底层数据结构和常见应用场景
weixin_39656174的博客
12-03 579
常用的Redis数据类型包含了String、Hash、Set、List、Zset这五种，自2.8.9增加了Hyperloglog，3.2增加了Geo、5.0又新增了Streams。本文重点讨论常用的五种数据类型底层的数据结构。String的数据结构Redis最基本也是最常用的数据类型就是String类型了，可以用来存储字符串、整数、浮点数。Redis 通过 hashtable 实...
Redis 知识体系(文档型 NoSQL)
最新发布
专注 Java 后端开发，分享基础语法、JVM、并发、Spring 全家桶、微服务、分布式、性能优化等实战干货。坚持输出高质量技术笔记，用简单语言讲清复杂原理，助力每一位 Java 开发者稳步进阶。
06-09 680
本文深入解析Redis八大基础数据结构及其底层编码实现，涵盖String、List、Set、ZSet、Hash、Geo、Bitmap、HyperLogLog和Stream等核心结构。通过源码级分析，揭示了SDS、Ziplist、Dict等底层组件的设计原理，并详细探讨了Redis的高性能IO模型、持久化机制（RDB/AOF/混合模式）、内存管理策略及高可用架构（主从/哨兵/Cluster）。 重点剖析了Redis在工程实践中的典型问题与优化方案，包括缓存穿透/击穿/雪崩的解决方案、分布式锁的完整实现（含Re
计算机考研考博经典考题汇总(一次刷新世界观-我相信VIP总是有原因的）
热门推荐
weixin_44077556的博客
07-17 4万+
操作系统 操作系统的特点？ – 共享：资源可被多个并发执行的进程使用 – 并发：可以在同一时间间隔处理多个进程，需要硬件支持 – 虚拟：将物理实体映射成为多个虚拟设备 – 异步：进程执行走走停停，每次进程执行速度可能不同，但OS需保证进程每次执行结果相同 进程的三个组成部分？ 程序段、数据段、PCB(Process Control Block) 并发与并行区别？ 并发：同一间隔 并行：同一时刻 进程切换的过程？ 保持处理机上下文 -> 更新PCB -> 把PCB移入相应队列(就绪、阻塞) -&g
Golang基础面试题汇总
weixin_41760738的博客
11-26 5490
channel、goroutine、slice、map、反射、内存、GC、Musql、Redis、ELK、K8s、Http、Https
重学C++系列（一）：从C到C++
yuhaibing111的博客
01-12 568
作为一个Android开发者，可能你觉得我是不是跑错场了，Android开发又用不到C++的知识。。额，如果你这么觉得，只能说明你还是一个Android基础开发者，C++在高级领域，如性能优化，NDK，音视频，framework，ART虚拟机等都使用的它，所以学习C++对我们Android开发其实非常必要。本篇是重学C++系列的第一篇，希望文章对你有启发。
亿万级海量数据去重软方法
南风知我意
03-03 1272
亿万级海量数据去重软方法
海量数据去重的五大策略
曲线救己的fighter
06-27 3113
摘要： 在存储架构中，删除重复数据的一些常用的方法包括：哈希、二进制比较和增量差分。在HadoopSphere这篇文章中，将专注于如何利用MapReduce和HDFS来消除重复的数据。 关键词： 海量数据大数据 重复数据删除往往是指消除冗余子文件。不同于压缩，重复数据删除对于数据本身并没有改变，只是消除了相同的数据占用的存储容量。重复数据删除在减少存储、降低网络带宽方面有着显著的优势，并对扩展
海量数据去重、HASH、布隆过滤器介绍
hjlogzw的博客
02-13 1047
面试知识点之海量数据去重、哈希函数、布隆过滤器介绍
海量数据去重的hash，BloomFilter，bitmap
qq_42331828的博客
06-02 923
海量数据查找字符串的问题
面试题-海量数据去重，如何实现？
m0_37900506的博客
01-24 1300
布隆过滤器是一种数据结构，用于快速检索一个元素是否可能存在于一个集合(bit 数组)中。它的基本原理是利用多个哈希函数，将一个元素映射成多个位，然后将这些位设置为 1。本质上：布隆过滤器内部包含一个bit数组和多个哈希函数，每个哈希函数都会生成一个index 索引值。它由两个部分组成：一个bit数组， 存储数据多个哈希函数， 计算key的 index 索引如下图所示 这里有三个key ==》x，y，z那么问题来了：我们如何做 exist（key）这种存在性的判定呢？
【数据去重】海量数据实时去重方案
DreamSun的博客
04-26 2674
RocksDB的调优是个很复杂的话题，详情参见官方提供的tuning guide，以及Flink配置中与RocksDB相关的参数，今后会挑时间重点分析一下RocksDB存储大状态时的调优方法。另外，外部K-V存储毕竟是独立于Flink框架之外的，一旦作业出现问题重启，外部存储是不会与作业的checkpoint同步恢复到一致的状态的，也就是说结果仍然会出现偏差，需要注意。在实际处理数据时，如果数据的key（即子订单ID）对应的状态不存在，说明它没有出现过，可以更新状态并输出。
海量数据去重-BitMap位图解决方案
流月up的博客
08-13 653
海量数据去重-BitMap位图解决方案
亿万级海量数据去重软方法，spark/hive/flink/mr通用
u013289115的博客
03-31 4534
一、场景描述：二、常用方法1.优化sql2.借助第三方存储3.bitmap三、原理分析二、案例实战三、总结 一、场景描述： ​ 小强作为一名数据工程师，给予hadoop生态，经常会接到类似uv的去重统计。对于这种需求，一般的数据工程师撸起袖子直接干！一般情况下不会有问题。某一天，你公司突然业务发展发展起来，数据量慢慢暴涨，你会突然发现之前的count distinct去重经常oom或是...
C++微服务RPC框架，一文带你彻底搞懂 RPC
Linuxhus的博客
09-02 1万+
RPC（Remote Procedure Call），是一个大家既熟悉又陌生的词，只要涉及到通信，必然需要某种网络协议。我们很可能用过HTTP，那么RPC又和HTTP有什么区别呢？RPC还有什么特点，常见的选型有哪些？ 文章相关视频讲解： RPC和微服务Thrift的架构原理 C++架构师学习地址：C/C++Linux服务器开发高级架构师/Linux后台架构师 1. RPC是什么 RPC可以分为两部分：用户调用接口 + 具体网络协议。前者为开发者需要关心的，后者由框架来实现。 举个例子，.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值