位置：首页-资讯-数据库

Redis中HyperLogLog的使用详情

2024-04-02 19:55

短信预约 -IT技能 免费直播动态提醒

前言

HyperlogLog ，基数统计；

那什么是基数？

比如有两个数组

数组A = [1,2,3,4,5];

数组B = [3,4,5,6,7];

这时候基数就是 [1,2,3,4,5,6,7]，总共有7个数；

就是去重之后的数据；

HyperLogLog 就是用来做去重复统计的；

bitmap 在做统计时，虽然使用的是 bit 来做记录，已经很节省空间了；

但是在随着数据量快速增长的情况下，bitmap 也是很占内存空间的；

而 HyperLogLog 就不同了，HyperLogLog 的每个 key 只占用 12kb 的内存，

就可以统计 2的64 次方个基数；

而且不会随着数据量的增多而变大，就是固定的 12kb；

这是因为 HyperLogLog 每次只会根据添加的数据去计算基数，而不保存添加的数据本身；

但这也造成了一个问题，就是 HyperLogLog 基数统计的准确率不是100%，会有 0.81% 的误差；

但对于亿级数据的统计，这点误差似乎可以忽略不计；

同样的，bitmap 记录数据本身，它的计算是精确的；

所有，也可以说 HyperLogLog 是一种概率计算，但是误差是很小的。

这是reidis作者写的关于HyperLogLog的文章

HyperLogLog 的使用也非常简单，就3个操作api

添加元素

pfadd key value [value ...]

pfadd 20220628:uv ip1 ip2 ip3
pfadd 20220629:uv ip1 ip2 ip3 ip4 ip5
pfadd 20220630:uv ip2 ip4 ip5 ip6 ip7 ip8

重复数据不会被保存，返回的是0

> pfadd 20220628:uv ip1 ip2 ip3
1
> pfadd 20220628:uv ip1 ip2 ip3
0

获取 HyperLogLog 的基数估算值

PFCOUNT key [key ...]

> pfcount 20220628:uv 20220629:uv
5

合并得出的不会被储存，使用之后就会被删掉

合并多个key

pfmerge destkey key [key ...]

> pfmerge result 20220628:uv 20220629:uv 20220630:uv
OK

pfmerge 合并多个key后，会生成一条 result 数据

然后再对 result 做 pfcount 操作

> pfcount result
8

这时候拿到的值就是上面3个key 计算出来的基数。

HyperLogLog 在 spring 里的使用也非常简单，

pfadd 对应的是 .add() 操作；

pfcount 对应的是 .size() 操作；

pfmerge 对应的是 .union() 操作；

下面是使用的 Demo

import org.junit.jupiter.api.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.Redis.core.HyperLogLogOperations;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.test.context.junit4.SpringRunner;

import Javax.annotation.Resource;

@SpringBootTest
@RunWith(SpringRunner.class)
class RedisTest {
    
    @Resource
    private RedisTemplate<String, String> redisTemplate;

    @Test
    void hyperLogLogTest() {
        HyperLogLogOperations<String, String> hyperLogLogOperations = redisTemplate.opsForHyperLogLog();
        // 添加元素
        Long add = hyperLogLogOperations.add("20220628:uv", "ip1", "ip2", "ip3");
        System.out.println("add : " + add);

        hyperLogLogOperations.add("20220629:uv", "ip1", "ip2", "ip3", "ip4", "ip5");
        hyperLogLogOperations.add("20220630:uv", "ip2", "ip4", "ip5", "ip6", "ip7", "ip8");

        // 获取元素基数
        Long size = hyperLogLogOperations.size("20220628:uv", "20220629:uv");
        System.out.println("size : " + size);

        // 合并多个元素
        Long result = hyperLogLogOperations.union("unionResult", "20220628:uv", "20220629:uv", "20220630:uv");
        System.out.println("result : " + result);
        Long unionResult = hyperLogLogOperations.size("unionResult");
        System.out.println("unionResult : " + unionResult);
    }
}

到此这篇关于Redis中HyperLogLog的使用详情的文章就介绍到这了,更多相关RedisH yperLogLog内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

免责声明：

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

阅读原文内容投诉