我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Golang中map的深入探究

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Golang中map的深入探究

简介

本文主要通过探究在golang 中map的数据结构及源码实现来学习和了解map的特性,共包含map的模型探究、存取、扩容等内容。欢迎大家共同讨论。

Map 的底层内存模型

在 golang 的源码中表示 map 的底层 struct 是 hmap,其是 hashmap 的缩写

type hmap struct {
 
   // map中存入元素的个数, golang中调用len(map)的时候直接返回该字段
   count     int
   // 状态标记位,通过与定义的枚举值进行&操作可以判断当前是否处于这种状态
   flags     uint8
   B         uint8  // 2^B 表示bucket的数量, B 表示取hash后多少位来做bucket的分组
   noverflow uint16 // overflow bucket 的数量的近似数
   hash0     uint32 // hash seed (hash 种子) 一般是一个素数
 
   buckets    unsafe.Pointer // 共有2^B个 bucket ,但是如果没有元素存入,这个字段可能为nil
   oldbuckets unsafe.Pointer // 在扩容期间,将旧的bucket数组放在这里, 新buckets会是这个的两倍大
   nevacuate  uintptr        // 表示已经完成扩容迁移的bucket的指针, 地址小于当前指针的bucket已经迁移完成
 
   extra *mapextra // optional fields
}

B 是 buckets 数组的长度的对数, 即 bucket 数组的长度是 2^B。bucket 的本质上是一个指针,指向了一片内存空间,其指向的 struct 如下所示:

// A bucket for a Go map.
type bmap struct {
   tophash [bucketCnt]uint8
}

但这只是表面(class="lazy" data-src/runtime/hashmap.go)的结构,编译期间会给它加料,动态地创建一个新的结构:

type bmap struct {
    topbits  [8]uint8
    keys     [8]keytype
    values   [8]valuetype
    pad      uintptr        // 内存对齐使用,可能不需要
    overflow uintptr        // 当bucket 的8个key 存满了之后
}

bmap 就是我们常说的“桶”的底层数据结构, 一个桶中可以存放最多 8 个 key/value, map 使用 hash 函数 得到 hash 值决定分配到哪个桶, 然后又会根据 hash 值的高 8 位来寻找放在桶的哪个位置 具体的 map 的组成结构如下图所示:

e13cf8aeb451c1b351f4a2c987dbdd37.jpeg

Map 的存与取

在 map 中存与取本质上都是在进行一个工作, 那就是:

  1. 查询当前 k/v 应该存储的位置。
  2. 赋值/取值, 所以我们理解了 map 中 key 的定位我们就理解了存取。

底层代码

func mapaccess2(t *maptype, h *hmap, key unsafe.Pointer) (unsafe.Pointer, bool) {
    // map 为空,或者元素数为 0,直接返回未找到
    if h == nil || h.count == 0 {
        return unsafe.Pointer(&zeroVal[0]), false
    }
    // 不支持并发读写
    if h.flags&hashWriting != 0 {
        throw("concurrent map read and map write")
    }
    // 根据hash 函数算出hash值,注意key的类型不同可能使用的hash函数也不同
    hash := t.hasher(key, uintptr(h.hash0))
    // 如果 B = 5,那么结果用二进制表示就是 11111 , 返回的是B位全1的值
    m := bucketMask(h.B)
    // 根据hash的后B位,定位在bucket数组中的位置
    b := (*bmap)(unsafe.Pointer(uintptr(h.buckets) + (hash&m)*uintptr(t.bucketsize)))
    // 当 h.oldbuckets 非空时,说明 map 发生了扩容
    // 这时候,新的 buckets 里可能还没有老的内容
    // 所以一定要在老的里面找,否则有可能发生“消失”的诡异现象
    if c := h.oldbuckets; c != nil {
        if !h.sameSizeGrow() {
            // 说明之前只有一半的 bucket,需要除 2
            m >>= 1
        }
        oldb := (*bmap)(unsafe.Pointer(uintptr(c) + (hash&m)*uintptr(t.bucketsize)))
        if !evacuated(oldb) {
            b = oldb
        }
    }
    // tophash 取其高 8bit 的值
    top := tophash(hash)
    // 一个 bucket 在存储满 8 个元素后,就再也放不下了,这时候会创建新的 bucket,挂在原来的 bucket 的 overflow 指针成员上
    // 遍历当前bucket的所有链式bucket
    for ; b != nil; b = b.overflow(t) {
        // 在bucket的8个位置上查询
        for i := uintptr(0); i < bucketCnt; i++ {
            // 如果找到了相等的 tophash,那说明就是这个 bucket 了
            if b.tophash[i] != top {
                continue
            }
            // 根据内存结构定位key的位置
            k := add(unsafe.Pointer(b), dataOffset+i*uintptr(t.keysize))
            if t.indirectkey {
                k = *((*unsafe.Pointer)(k))
            }
            // 校验找到的key是否匹配
            if t.key.equal(key, k) {
                // 定位v的位置
                v := add(unsafe.Pointer(b), dataOffset+bucketCnt*uintptr(t.keysize)+i*uintptr(t.valuesize))
                if t.indirectvalue {
                    v = *((*unsafe.Pointer)(v))
                }
                return v, true
            }
        }
    }
 
    // 所有 bucket 都没有找到,返回零值和 false
    return unsafe.Pointer(&zeroVal[0]), false
}

寻址过程

d0fa5c6fa8598610ec72e44dd6b32ba0.png

Map 的扩容

在 golang 中 map 和 slice 一样都是在初始化时首先申请较小的内存空间,在 map 的不断存入的过程中,动态的进行扩容。扩容共有两种,增量扩容等量扩容(重新排列并分配内存)。下面我们来了解一下扩容的触发方式:

  1. 负载因子超过阈值,源码里定义的阈值是 6.5。(触发增量扩容)
  2. overflow 的 bucket 数量过多:当 B 小于 15,也就是 bucket 总数 2^B 小于 2^15 时,如果 overflow 的 bucket 数量超过 2^B;当 B >= 15,也就是 bucket 总数 2^B 大于等于 2^15,如果 overflow 的 bucket 数量超过 2^15。(触发等量扩容)

第一种情况

58a6a5044926da470305be3a5700a393.jpeg

第二种情况

3ed98a18909fd133820deeef93ff37f7.jpeg

Map 的有序性

先说结论,在 golang 中 map 是无序的,准确的说是无法严格保证顺序的, 从上面的源码中我们可以知道,golang 中 map 在扩容后,可能会将部分 key 移至新内存,由于在扩容搬移数据过程中,并未记录原数据位置, 并且在 golang 的数据结构中也并未保存数据的顺序,所以那么这一部分在扩容后实际上就已经是无序的了。

遍历的过程,其实就是按顺序遍历内存地址,同时按顺序遍历内存地址中的 key。但这时已经是无序的了。但是如果我就一个 map,我保证不会对 map 进行修改删除等操作,那么按理说没有扩容就不会发生改变。但也是因为这样,GO 才在源码中 但是有一个有趣的现象,就算不对 map 进行插入删除等操作致使其扩容,其在遍历过程中仍是无序的。

objMap := make(map[string]int)
for i := 0; i < 5; i++ {
   objMap[strconv.Itoa(i)] = i
}
for i := 0 ; i < 5; i ++ {
   var valStr1, valStr2 string
   for k, v := range objMap {
      fmt.Println(k)
      fmt.Println(v)
      valStr1 += k
   }
   for k, v := range objMap {
      fmt.Println(k)
      fmt.Println(v)
      valStr2 += k
   }
   fmt.Println(valStr1 == valStr2)
   if valStr1 != valStr2 {
      fmt.Println("not equal")
   }
}
fmt.Println("end")

以上的运行结果是

996c3ffd2328a0c204ab26f0d2297eb8.png

不难看出,即使不对 map 进行扩容,在多次遍历时也是无序的,这是因为 golang 官方在设计时故意加上随机的元素,将遍历 map 的顺序随机化,用来防止使用者用来顺序遍历。

依赖 map 的顺序进行遍历,这是有风险的代码,在 GO 的严格语法规则下,是坚决不提倡的。所以我们在使用 map 时一定要记得其是无序的,不要依赖其顺序。

Map 的并发

首先我们大家都知道,在 golang 中 map 并不是一个并发安全的数据结构,当几个 goruotine 同时对一个 map 进行读写操作时,就会出现并发写问题:fatal error: concurrent map writes。但是为什么 map 是不支持并发安全的呢, 主要是因为成本与效益。

官方答复原因如下:

  • 典型使用场景:map 的典型使用场景是不需要从多个 goroutine 中进行安全访问。
  • 非典型场景(需要原子操作):map 可能是一些更大的数据结构或已经同步的计算的一部分。

性能场景考虑:若是只是为少数程序增加安全性,导致 map 所有的操作都要处理 mutex,将会降低大多数程序的性能。同时 golang 提供了并发安全的 sync map。

, // 不支持并发读写
    if h.flags&hashWriting != 0 {
        throw("concurrent map read and map write")
    }

但是我们又有疑问了,为什么 golang map 并发冲突了不抛一个 error 出来,或者 panic 掉,而是要让程序 panic,选择让程序 crash 崩溃掉。这里是 golang 官方出于权衡风险和 map 使用复杂度场景考虑的,首先 map 在官方中就明确表示不支持并发读写, 所以并发对 map 进行读写操作本身就是不正确的。

场景假设一:如果 map 选择在写入或者读取时增加 error 返回值,会导致程序在使用 map 时就无法像现在一样,需要额外的捕获并判断 err。

场景假设二:如果 map 选择 panic(可被 recover),此时如果出现并发写入数据的场景,就会导致走进 recover 中,如果没有对这种场景进行特殊处理,就会导致 map 中存在脏数据,此时程序在使用 map 时就会引发不可预知的错误,此时排查起来也是很难找到问题的根因的。

所以 golang 在考虑了这些场景后,选择明确的抛出 crash 崩溃异常,使得风险被提前暴露。可以明确的定位到问题点。综上所述我们在使用 map 时,已经要严格保障其是在单线程内使用的,如果有多线程场景,建议使用 sync map 。

总结

到此这篇关于Golang中map的文章就介绍到这了,更多相关Golang map探究内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Golang中map的深入探究

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

深入探讨Golang中map的删除操作

Golang中map删除操作详解在Go语言中,map是一种集合类型,它提供了一种键值对的映射关系,非常常用。在使用map的过程中,有时候我们需要删除某个特定的键值对,本文将通过详细的解释和具体的代码示例来介绍在Golang中如何进行map
深入探讨Golang中map的删除操作
2024-02-25

深入探讨Golang中Map的修改机制

Golang中Map的修改机制是指在使用Map类型的数据结构时,对Map中的键值对进行修改操作时所涉及到的一系列规则和机制。本文将通过详细介绍Golang中Map的基本概念、操作方法以及修改时的机制,通过具体的代码示例来帮助读者更深入地了解
深入探讨Golang中Map的修改机制
2024-03-03

深入探究Golang中的文件删除功能

在Golang中,文件的删除操作是我们在处理文件时经常需要用到的操作之一。理解文件删除的实现原理对于开发人员来说至关重要,本文将深入探讨Golang中文件删除的操作机制,并提供具体的代码示例。1. 文件删除的基本概念在Golang中,文
深入探究Golang中的文件删除功能
2024-02-24

深入探究Golang中flag标准库的使用

在本文中,我们将深入探讨flag标准库的实现原理和使用技巧,以帮助读者更好地理解和掌握该库的使用方法,文中的示例代码讲解详细,感兴趣的可以了解一下
2023-05-18

深入探究Golang中log标准库的使用

Go 语言标准库中的 log 包设计简洁明了,易于上手,可以轻松记录程序运行时的信息、调试错误以及跟踪代码执行过程中的问题等。本文主要来深入探究 log 包的使用和原理,帮助读者更好地了解和掌握它
2023-05-19

深入探究:Golang的优势有哪些?

【深入探究:Golang的优势有哪些?】Golang,又称Go语言,是一种由Google开发的开源编程语言。自问世以来,Golang在短短几年内便迅速崛起,并受到了许多开发者的热烈追捧。那么,Golang的优势究竟体现在哪些方面呢?本文将
深入探究:Golang的优势有哪些?
2024-03-03

深入探究:Golang在现代编程中的地位

在当今互联网时代,软件开发领域日新月异,各种编程语言层出不穷。其中,Golang作为一门相对年轻的编程语言,逐渐崭露头角,备受关注。本文将深入探究Golang在现代编程中的地位,并通过具体的代码示例来展示其优势和应用场景。1. Golan
深入探究:Golang在现代编程中的地位
2024-03-03

深入探究:Golang Web 的本质是什么?

Golang Web 开发一直以来备受开发者青睐,其高效的并发性能、简洁的语法以及丰富的标准库都是其备受推崇的原因。本文将深入探究 Golang Web 的本质是什么,通过具体的代码示例来展现其特点和优势。一、简洁的语法和丰富的标准库G
深入探究:Golang Web 的本质是什么?
2024-03-05

Android 中的注解深入探究

本文系GDG Android Meetup分享内容总结文章 注解是我们经常接触的技术,Java有注解,Android也有注解,本文将试图介绍Android中的注解,以及ButterKnife和Otto这些基于注解的库的一些工作原理. 归纳而
2022-06-06

MySQL中join查询的深入探究

数据库中的JOIN称为连接,连接的主要作用是根据两个或多个表中的列之间的关系,获取存在于不同表中的数据,下面这篇文章主要给大家介绍了关于MySQL中join查询的深入探究,需要的朋友可以参考下
2022-11-13

深入探究node之Transform

本文详细的介绍了node Transform ,分享给大家,希望此文章对各位有所帮助。 Transform流特性 在开发中直接接触Transform流的情况不是很多,往往是使用相对成熟的模块或者封装的API来完成流的处理,最为特殊的莫过于t
2022-06-04

Electron架构深入探究

这篇文章主要为大家介绍了Electron架构深入探究,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2023-02-09

Vue中v-bind原理深入探究

这篇文章主要给大家分享了v-bind的使用和注意需要注意的点,下面文章围绕v-bind指令的相关资料展开内容且附上详细代码需要的小伙伴可以参考一下,希望对大家有所帮助
2022-11-13

iOS坐标系的深入探究

前言app在渲染视图时,需要在坐标系中指定绘制区域。这个概念看似乎简单,事实并非如此。When an app draws something in iOS, it has to locate the drawn content in a t
2022-05-15

深入探究C语言中的二叉树

树是一种非线性的数据结构,它是由n(n>=0)个有限结点组成一个具有层次关系的集合。把它叫做树是因为它看起来像一棵倒挂的树,也就是说它是根朝上,而叶朝下的。本文将带你深入探究C语言中的二叉树,感兴趣的同学跟着小编一起学习吧
2023-05-19

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录