我的编程空间,编程开发者的网络收藏夹
学习永远不晚

GoMap并发冲突预防与解决

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

GoMap并发冲突预防与解决

背景

关于 Go 语言的 Map,有两个需要注意的特性:

  • Map 是并发读写不安全的,这是出于性能的考虑;
  • Map 并发读写导致的错误,无法使用 recover 捕获。

后者意味着,只有出现并发读写的问题,服务就会挂掉。

这两个特性可能大家都知道,可即使有这个共识,我还是见过这个问题导致的事故。

事故的大致情况是,一个人封装了map的读写,没有使用锁。另一个人开协程读写 map。而测试环境请求量小,不一定会导致崩溃,于是,这个问题就留到生产环境才出现了。

除了靠开发者自觉和 code review,还能怎么预防这种情况呢?我觉得在单元测试加入并行测试也很重要。

并行单元测试

单元测试默认不是并发的,比如下面的单测,是可以通过的:

func TestConcurrent(t *testing.T) {
    var m = map[string]int{}
    // 写 map
    t.Run("write", func(t *testing.T) {
      for i := 0; i < 10000; i++ {
        m["a"] = 1
      }
    })
    // 读 map
    t.Run("read", func(t *testing.T) {
      for i := 0; i < 10000; i++ {
        _ = m["a"]
      }
    })
}

但是我们的期望是,上面的单测不通过,该如何解决呢?

testing.T 有一个 Parallel 方法,它表示当前测试会和其他测试并行运行。 如果参数有-test.count-test.cpu,一个测试可能运行多次,同个测试的多个运行实例,不会并行运行。

我们给上面的单测,加上t.Parallel():

func TestConcurrent(t *testing.T) {
    var m = map[string]int{}
    t.Run("write", func(t *testing.T) {
      // 加上并行
      t.Parallel()
      for i := 0; i < 10000; i++ {
        m["a"] = 1
      }
    })
    t.Run("read", func(t *testing.T) {
      // 加上并行
      t.Parallel()
      for i := 0; i < 10000; i++ {
        _ = m["a"]
      }
    })
}

这次执行就会报错:

fatal error: concurrent map read and map write

支持并发的 Map

让 Map 支持并发读写并不麻烦,常见的做法有:

  • 操作 map 的时候,加上读写锁 sync.RWMutex
  • 使用 sync.Map。

sync.RWMutex 大家用得可能比较多。这里简单给个demo。

sync.RWMutex

我们给上面的单测加上锁,这次运行就能通过了。

func TestConcurrent(t *testing.T) {
	var m = map[string]int{}
	//  定义锁,零值就可以使用
	var mu sync.RWMutex
	t.Run("write", func(t *testing.T) {
		t.Parallel()
		for i := 0; i < 10000; i++ {
			// 锁
			mu.Lock()
			m["a"] = 1
			// 解锁
			mu.Unlock()
		}
	})
	t.Run("read", func(t *testing.T) {
		t.Parallel()
		for i := 0; i < 10000; i++ {
			// 锁
			mu.Lock()
			_ = m["a"]
			// 解锁
			mu.Unlock()
		}
	})
}

本文的重点介绍一下Go标准库自带的,支持并发读写的 map:sync.Map

sync.Map

sync.Map 就是线程安全版的 map[interface{}]interface{},零值可以直接使用,值不能复制。它主要用于以下场景:

  • 当同一个 key 的值,写少读多的时候;
  • 但多个 goroutines 读写或修改一系列不同的key的时候。

上面两种场景中,比起带Mutex(或RWMutex)的map,sync.Map 会大大减少锁的竞争。

sync.Map 提供的方法不多,这里列出一些。注意的是,any 是 go 1.18 中 interface{}的别名。

Store,设置 key-value。

func (m *Map) Store(key, value any)

Load, 根据 key 读取 value。

func (m *Map) Load(key any) (value any, ok bool)

Delete,删除某个key。

func (m *Map) Delete(key any)

Range,遍历所有key, 如果f返回false,会停止遍历。

func (m *Map) Range(f func(key, value any) bool)

还有 LoadAndDelete(读后删除)、LoadOrStore(读key,不存在时设置)。

我们给上面的单测,使用sync.Map,测试也可以通过。

func TestConcurrent(t *testing.T) {
	// 可以使用零值
	var m sync.Map
	t.Run("write", func(t *testing.T) {
		t.Parallel()
		for i := 0; i < 10000; i++ {
			// 写
			m.Store("a", 1)
		}
	})
	t.Run("read", func(t *testing.T) {
		t.Parallel()
		for i := 0; i < 10000; i++ {
			// 读
			v, ok := m.Load("a")
			if ok {
				_ = v.(int)
			}
		}
	})
}

参考

pkg.go.dev/sync#Map

以上就是Go Map并发冲突预防与解决的详细内容,更多关于Go Map并发冲突的资料请关注编程网其它相关文章!

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

GoMap并发冲突预防与解决

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

GoMap并发冲突预防与解决

这篇文章主要为大家介绍了GoMap并发冲突预防与解决,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2022-12-15

SQL级别并发冲突解决

在SQL中,当多个用户同时对同一数据进行操作时可能会发生并发冲突。以下是一些常见的解决并发冲突的方法:使用事务:事务是SQL中用于处理并发冲突的基本机制。通过将一系列操作封装在一个事务内,可以保证这些操作要么全部成功,要么全部失败。当多个用
SQL级别并发冲突解决
2024-08-12

Couchbase如何处理并发访问和冲突解决

Couchbase是一个面向文档的NoSQL数据库,它使用乐观并发控制来处理并发访问和解决冲突。在Couchbase中,每个文档都有一个版本号,称为CAS(Compare and Swap)。当客户端读取一个文档时,它会获取该文档的CAS
Couchbase如何处理并发访问和冲突解决
2024-04-09

golang函数并发控制中死锁与饥饿的预防与解决

go 中死锁和饥饿:预防与解决死锁:协程相互等待而无法进行的操作,使用 runtime.setblockprofilerate 函数检测。预防死锁:使用细粒度加锁、超时、无锁数据结构,防止死锁。饥饿:协程持续无法获得资源,使用公平锁防止饥饿
golang函数并发控制中死锁与饥饿的预防与解决
2024-04-24

如何解决Go语言中的并发内存访问冲突问题?

如何解决Go语言中的并发内存访问冲突问题?在Go语言中,我们可以使用goroutine来实现并发编程,这无疑给我们带来了更强大的性能和并行处理能力。然而,并发编程也会引发一些问题,其中最常见的就是内存访问冲突。内存访问冲突问题是指多个gor
2023-10-22

解决MongoDB技术开发中遇到的并发冲突问题的方法研究

解决MongoDB技术开发中遇到的并发冲突问题的方法研究引言:随着互联网技术的发展,数据库的并发操作已成为现代应用开发中的一个重要问题。在MongoDB技术开发过程中,也常常会遇到并发冲突的问题。本文将研究解决MongoDB并发冲突问题的方
2023-10-22

如何解决Go语言中的并发文件的读写锁冲突问题?

如何解决Go语言中的并发文件的读写锁冲突问题?在Go语言中,我们经常会遇到需要同时对一个文件进行读写操作的场景,比如并发地写日志文件。如果不加以控制,多个goroutine同时对同一个文件进行读写操作,就会产生冲突,导致数据丢失或不一致。为
2023-10-22

解决MongoDB技术开发中遇到的并发冲突写入问题的方法研究

解决MongoDB技术开发中遇到的并发冲突写入问题的方法研究引言:在现代互联网应用的开发中,数据库性能和并发性一直都是重要的考量因素。随着大数据的快速发展,对于高并发处理的需求也越来越多。MongoDB作为一种非关系型数据库,在处理大数据和
2023-10-22

解决MongoDB技术开发中遇到的并发控制冲突问题的方法研究

解决MongoDB技术开发中遇到的并发控制冲突问题的方法研究引言:随着大数据时代的到来,数据存储和处理的需求不断增加。在这个背景下,NoSQL数据库成为了一种备受关注的数据库技术。MongoDB作为NoSQL数据库的代表之一,以其高性能、可
2023-10-22

阿里云并发服务器异常原因、解决方法及预防措施

本文将针对阿里云并发服务器出现的异常进行深入分析,包括异常的原因、解决方法以及预防措施,旨在帮助用户了解并发服务器的运行状态,并及时采取措施避免故障的发生。阿里云并发服务器,也被称为负载均衡服务器,是一种分布式计算架构。在企业信息化、电子商务、云计算等场景中,阿里云并发服务器发挥了重要作用。然而,当并发服务器出现
阿里云并发服务器异常原因、解决方法及预防措施
2023-11-12

阿里云短信群发服务器失败原因、解决方案与预防措施

阿里云作为国内领先的云服务提供商,其短信群发功能深受广大用户喜爱。然而,最近有部分用户反映,他们在使用阿里云短信群发服务器时遇到了失败的问题。那么,究竟是什么原因导致了阿里云短信群发服务器的失败?又该如何解决这个问题呢?本文将对这些问题进行详细的解答,并提出一些预防措施。正文:一、阿里云短信群发服务器失败的原因分
阿里云短信群发服务器失败原因、解决方案与预防措施
2023-11-09

阿里云开发后台服务器失败原因、解决方法与预防措施

在使用阿里云开发后台服务器的过程中,有时候可能会遇到服务器失败的问题。本文将探讨阿里云开发后台服务器失败的原因、解决方法以及预防措施,希望能帮助您更好地理解并解决这个问题。正文:一、阿里云开发后台服务器失败的原因阿里云开发后台服务器失败的原因有很多,以下是一些常见的原因:服务器硬件故障:服务器硬件如CPU、内存、
阿里云开发后台服务器失败原因、解决方法与预防措施
2023-10-30

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录