我的编程空间,编程开发者的网络收藏夹
学习永远不晚

如何保证缓存和数据库一致性

短信预约 信息系统项目管理师 报名、考试、查分时间动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

如何保证缓存和数据库一致性

如何保证缓存和数据库一致性

[TOC]

多年前在一次面试中,被问到如果数据更新,先修改数据库还是先修改缓存。因为没有想过,所以比较懵逼,时候赶紧搜索,发现这里面很有学问。基本上所有的文章最终都指向了两个地方,就是Oracle和Hazelcast对缓存更新策略的介绍。

Cache-Aside

常见的应用端策略,从数据库加载数据到缓存的模式。

应用服务自己选择是否使用缓存,并维护缓存的生命周期。这是最简单的实现方式,但是会有遇到一些问题。分为两种情况:

读取数据

检查缓存遗漏,然后查询数据库,填充缓存

  1. 尝试读缓存
  2. 如果命中,返回数据
  3. 如果未命中,查询数据库,并写入缓存

这会导致缓存击穿,需要双重检查锁定(Double Check Lock)确保单个线程访问数据库,但是会增加锁开销。

修改数据

修改数据库和缓存,因为缓存和数据库是两个系统,操作的先后顺序会导致一致性问题。

通常由几种方案:

先更新数据库,后更新缓存

如果两个线程同时更新,先更新的线程因为某些原因(时间片耗尽),后更新缓存,那么缓存里就是脏数据。

participant 业务
participant 数据库
participant 缓存
业务->数据库: A线程:更新
业务->数据库: B线程:更新
数据库->数据库: A线程:挂起
数据库->缓存: B线程:更新
数据库->缓存: A线程:更新

先更新缓存,后更新数据库

数据库错误,然后回滚了,但是这段时间里,缓存被用了。

participant 业务
participant 数据库
participant 缓存
业务->数据库: A线程:更新
数据库->缓存: A线程:更新
业务->缓存: B线程:获取
缓存->业务: B线程:取得未提交的数据
缓存-->数据库: A线程:更新
note right of 数据库:回滚

先删除缓存,后更新数据库

一个线程删除了缓存,还没来得及更新数据库,另一个线程来取缓存,发现取不到,查询数据库,并把旧数据放入缓存。最后数据库被更新为最新值。

participant 业务
participant 缓存
participant 数据库
业务->缓存: A线程:删除
业务->缓存: B线程:获取
缓存-->业务: B线程:未命中
业务->数据库: B线程:查询
数据库->缓存: B线程:更新
缓存->数据库: A线程:更新

先更新数据库,后删除缓存

先更新数据库,后删除缓存,如果失败直接回滚,其他线程不会读到脏数据。事务提交后,后续线程从数据库读取最新值放入缓存。会引起缓存击穿,需要做DCL。在极端情况下,线程在删除缓存之前被终止,那么缓存里是脏数据。

participant 业务
participant 缓存
participant 数据库
业务->数据库: A线程:更新
数据库->缓存: A线程:删除
业务->缓存: B线程:获取
缓存-->业务: B线程:未命中
业务->数据库: B线程:查询
数据库->缓存: B线程:更新

还有一种更极端的情况,当前一个线程删除缓存之后。A线程查询缓存miss,然后查询数据库,并试图更新缓存,但是被挂起。此时B线程更新数据库,并删除缓存,然后A获得时间片,将B更新前的旧数据放入缓存。缓存里成为了脏数据。

Read-Through

应用尝试获取缓存时,如果未命中,由缓存负责查询数据库并更新缓存,然后返回数据。

Write-Through

尝试更新数据时,只更新缓存数据,由缓存负责把修改同步到数据库。如果操作数据库异常,则回滚事务,把异常抛给应用。

Read-Through和Write-Through 通常是缓存服务一起提供的策略,如果缓存服务不支持,需要自己动手封装。本质上就是把缓存操作纳入事务管理,由缓存服务封装在一起提供给应用。应用只需提供对数据库操作的实现,然后使用缓存即可。

仍然存在极端情况,即服务更新缓存后,在写入数据库之前被终止。

Write-Behind

一种缓存服务端的策略,当应用尝试更新数据时,只更新缓存数据。缓存服务会把修改放入一个队列,异步的更新到数据库。

有的缓存服务会批量同步,并合并对同一条记录的多次操作,只更新最新记录。

如果更新数据库异常,需要不断重试,知道数据库更新成功,因为缓存中数据已经生效。

这样做有四个优点:

  • 对应用来说,性能更好,因为不需要等待数据库写入,只需要更新缓存,而缓存更新很快。
  • 数据库压力减少了,因为会合并多次写操作,对于大量修改的数据,数据库只需执行最后一次。
  • 减少数据库故障对应用的影响,因为即使数据库故障,应用仍然可以对缓存进行读写。
  • 可扩展,当并发压力过大时,只需要增加缓存或者延长同步间隔,即可减小对数据库压力。

但是必须先解决几个问题:

  • 数据库事务绝对不能失败。
  • 缓存的同步操作不能跟其他应用对数据库的修改冲突。
  • 缓存成为了数据库,所以必须支持持久化。
  • 故障转移/故障恢复会导致数据丢失。

还有一种类似做法,就是通过订阅MySQL的binlog,异步更新缓存。可以保证最终一致性,但是需要容忍一定的延迟。

Refresh-Ahead

相比于上述为了保证一致性的策略,这是一个辅助措施。即对于设置了过期时间的缓存,在即将到期时,异步查询数据库,更新到缓存。能够尽可能减少脏数据,并保证一致性和效率。这是因为:

  • 设置缓存有效期,并定时从数据库更新,可以尽量保证一致性
  • 提前从数据库更新,防止缓存过期后导致的缓存穿透问题或为了解决缓存穿透加锁导致的性能开销。

总之,分布式系统很难两全其美,需要在A和C之间做出取舍,根据业务需要和经济基础选择最合适的方案。

其他参考资料:

  • https://www.pixelstech.net/article/1562504974-Consistency-between-Redis-Cache-and-SQL-Database

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

如何保证缓存和数据库一致性

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

如何保证缓存和数据库一致性

[TOC]多年前在一次面试中,被问到如果数据更新,先修改数据库还是先修改缓存。因为没有想过,所以比较懵逼,时候赶紧搜索,发现这里面很有学问。基本上所有的文章最终都指向了两个地方,就是Oracle和Hazelcast对缓存更新策略的介绍。Cache-Aside常
如何保证缓存和数据库一致性
2015-01-22

redis如何保证缓存和数据库一致性

redis 通过五种机制维护缓存一致性:1. 写通过缓存,2. 定期同步,3. 事务支持,4. 发布-订阅,5. 校验和修复。选择机制取决于数据变更频率、数据一致性要求、应用性能和维护成本等因素。Redis如何实现缓存一致性Redis作为
redis如何保证缓存和数据库一致性
2024-04-20

如何保证缓存和数据库的一致性?

保证缓存和数据库的一致性是一个复杂但重要的问题。通过选择合适的策略,并结合业务场景和需求进行优化,我们可以有效地减少数据不一致的情况,提升系统的稳定性和可靠性。

趣说 | 数据库和缓存如何保证一致性?

「先更新数据库,再删缓存」的策略的第一步是更新数据库,那么更新数据库成功,就会产生一条变更日志,记录在 binlog 里。

如何保证数据库和缓存双写一致性?

今天这篇文章我会从浅入深,跟大家一起聊聊,数据库和缓存双写数据一致性问题常见的解决方案,这些方案中可能存在的坑,以及最优方案是什么。

保证缓存和数据库的数据一致性详解

在实际开发过程中,缓存的使用频率是非常高的,只要使用缓存和数据库存储,就难免会出现双写时数据一致性的问题,本文主要介绍了如何保证缓存和数据库的数据一致性,需要的小伙伴可以参考阅读
2023-05-15

怎么保证缓存和数据库的数据一致性

本篇内容主要讲解“怎么保证缓存和数据库的数据一致性”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“怎么保证缓存和数据库的数据一致性”吧!1、错误的解决方案1.1、 先更新数据库,再删除缓存若数据库
2023-04-21

如何保证缓存与数据库的双写一致性

本篇内容主要讲解“如何保证缓存与数据库的双写一致性”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“如何保证缓存与数据库的双写一致性”吧!只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双
2023-06-02

redis和数据库如何保证一致性

redis 与数据库之间的数据一致性可以通过以下机制实现:1. 主从复制机制,通过异步复制实现一致性;2. 双写机制,同时向 redis 和数据库写入数据保持同步;3. 乐观锁,通过版本号或时间戳控制并发访问保证一致性;4. 事务补偿机制,
redis和数据库如何保证一致性
2024-04-20

八种方案,保证缓存和数据库的最终一致性

我们通常使用缓存机制来提升系统的性能,缓存系统下的读写操作,一般都需要操作数据库与缓存。对于读操作,一般是先查询缓存,查询不到再查询数据库,最后回写进缓存。

redis如何保证和数据库的一致性

为了确保 redis 与数据库之间的数据一致性,可使用以下方法:事务性更新:将 redis 和数据库更新封装成原子事务,避免不一致。乐观锁:监视要更新的键,更新前检查键是否已修改,避免并发冲突。发布-订阅:使用 redis 频道发布消息,订
redis如何保证和数据库的一致性
2024-04-20

如何保证Mongodb和数据库双写数据一致性?

很多小伙伴看到双写数据一致性问题,首先会想到的是Redis和数据库的数据双写一致性问题。有些小伙伴认为,Redis和数据库​的数据双写一致性问题,跟Mongodb和数据库的数据双写一致性问题,是同一个问题。

redis缓存如何与数据库保持一致

保持 redis 缓存与数据库数据一致性至关重要。以下方法可实现数据一致性:1. 写入时更新缓存(立即更新 redis 缓存);2. 写入时检查缓存(将更新存储在队列中,后台进程更新 redis 缓存);3. 读写分离(使用主从数据库复制,
redis缓存如何与数据库保持一致
2024-04-19

缓存和数据库一致性问题

1、想要提高应用的性能,可以引入「缓存」来解决2、引入缓存后,需要考虑缓存和数据库一致性问题,可选的方案有:「更新数据库 + 更新缓存」、「更新数据库 + 删除缓存」3、更新数据库 + 更新缓存方案,在「并发」场景下无法保证缓存和数据一致性,且存在「缓存资源浪
缓存和数据库一致性问题
2021-04-23

编程热搜

目录