我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Go内存分配管理

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Go内存分配管理

一、问题引入

现象:在实际工作项目中,golang项目经常内存报警,现象为在流量增大,或传入很大文件的情况下算法worker内存降低到一定限度之后(100Mb左右),过一段时间才能内存才能自动恢复。

  • Go内存管理机制,Go自己本身会管理内存,释放的内存不会立即归还给操作系统,在一定时间之后才会归还给操作系统,过早的释放内存归还给操作系统会降低性能。
  • 内存泄漏,Go调用CGO算法模块时,导致了内存泄漏
  • 进程占用的内存过大导致进程挂掉,并释放了内存,supervisor自动重启了进程,内存曲线恢复正常

二、几个基本概念

1.RSS,VSS解释

对于RAM内存的使用,实际是os kernel来控制的。

  • RSS(Resident Set Size)表示该进程分配的占用RAM的内存大小,不包括交互分区内存,包括共享库占用的内存,栈内存,堆内存
  • VSZ(Virtual Memory Size)表示该进程分配的虚拟内存大小,包括进程可以访问的所有内存,包括交换分区,共享内存

举例说明RSS,VSS:

如果一个进程,程序的大小有 500K,链接的共享库大小有 2500K,堆栈内存共有 200K,其中 100K 进入了交换分区。进程实际加载了共享库中的 1000K 的内容,以及自己程序的中的 400K 的内容。请问 RSS 和 VSZ 应是多少?RSS: 400K + 1000K + 100K = 1500K VSZ: 500K + 2500K + 200K = 3200K

三、Go内存管理机制

1.Go runtime内存延迟归还

Go是一种高级语言,自带GC。内存的分配和回收都是自动的被垃圾回收器所执行,当某个对象内存变成不可达状态时(unreachable)。垃圾回收器则将其回收。

Go中空闲的内存,并不意味着立即归还给操作系统。空闲的内存可以被重新利用。因此Go语言中,即使某些对象被释放了,操作系统的内存使用并没有下降。这是因为Go的内存管理器,将其标为free,并可以重新利用。

Go runtime不会立刻归还内存给操作系统,内存在大约5分钟左右没有被使用时,才会归还给操作系统。

例如:在处理Http请求时读取HttpBodyBytes.Buffer中,处理完HttpBody的内容之后,并不会立刻释放内存给OS,而是将这些内存对下一个Http请求进行内存的复用。

编写如下:简单的http服务,并使用ab进行压测可以验证Go gc的延迟归还内存给操作系统:

func main() {  
    http.HandleFunc("/bar", func(w http.ResponseWriter, r *http.Request) {  
        fmt.Fprintf(w, "Hello, %q", html.EscapeString(r.URL.Path))  
    })  

    http.ListenAndServe(":8010", nil)  

    fmt.Println("hello")  
}  

初始:

$ ps -p 563 -v  
  PID TTY      STAT   TIME  MAJFL   TRS   DRS   RSS %MEM COMMAND  
  563 pts/19   SNl    0:27      0  2100 359203  3480  0.1 ./http  

压测后:

ab -n 1000000 -c 1000 http://10.104.7.46:8010/bar
$ ps -p 563 -v  
  PID TTY      STAT   TIME  MAJFL   TRS   DRS   RSS %MEM COMMAND  
  563 pts/19   SNl    0:27      0  2100 359203 12908  0.1 ./http  

 5min后:

$ ps -p 563 -v  
  PID TTY      STAT   TIME  MAJFL   TRS   DRS   RSS %MEM COMMAND  
  563 pts/19   SNl    0:27      0  2100 359203 4816  0.0 ./http  

可以看到RSS由3480到12908在到4816,结合free -m可以看到内存一样的变化,因此验证了golang的内存管理的延迟归还特性。

2.强制归还内存

debug.FreeOSMemory()

该函数强制尽可能多的将内存归还给操作系统。不推荐手动调用释放内存,

FreeOSMemory

的操作在后台进程runtime来负责执行,定期归还内存给操作系统。

到此这篇关于Go 内存分配管理的文章就介绍到这了,更多相关Go 内存管理内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Go内存分配管理

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

C++ 内存管理:自定义内存分配器

c++++ 中的自定义内存分配器可让开发者根据需求调整内存分配行为,创建自定义分配器需要继承 std::allocator 并重写 allocate() 和 deallocate() 函数。实战案例包括:提高性能、优化内存使用和实现特定行为
C++ 内存管理:自定义内存分配器
2024-05-03

C++ 内存管理:跟踪内存分配和释放

c++++ 内存分配和释放跟踪工具:内存管理器 (例如 new 和 delete 运算符) 负责分配和释放内存。调试器提供内存泄漏检测功能。3.第三方工具库(如 valgrind 和 vtune amplifier)可以帮助跟踪内存使用情况
C++ 内存管理:跟踪内存分配和释放
2024-05-01

FreeRTOS动态内存分配管理示例分析

本篇内容主要讲解“FreeRTOS动态内存分配管理示例分析”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“FreeRTOS动态内存分配管理示例分析”吧!动态内存管理FreeRTOS提供5种动态内存
2023-06-29

内存管理揭秘:Go语言形参内存使用分析

go语言函数形参在栈中分配内存,可在函数内修改,但不影响调用函数中实际参数的值,这是因为形参是局部变量,与实际参数隔离。内存管理揭秘:Go语言形参内存使用分析在Go语言中,函数形参在内存中是如何分配和使用的?通过分析实战案例,本文将深入探
内存管理揭秘:Go语言形参内存使用分析
2024-04-04

FreeRTOS动态内存分配怎么管理heap5

今天小编给大家分享一下FreeRTOS动态内存分配怎么管理heap5的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。heap_
2023-06-29

内存管理的艺术:操作系统内存分配与释放

内存管理的艺术:操作系统的内存分配与释放
内存管理的艺术:操作系统内存分配与释放
2024-02-17

golang内存分配管理的方法是什么

Go语言中的内存分配管理主要有两个方法:垃圾回收:Go语言使用了自动垃圾回收(Garbage Collection)来管理内存的分配和回收。垃圾回收器会自动追踪和回收不再使用的内存,减轻了开发人员的负担,也避免了内存泄漏和野指针等问题。Go
2023-10-26

golang内存分配管理的方法有哪些

Golang的内存分配管理方法主要有以下几种:垃圾回收:Golang使用了一种基于标记-清除算法的垃圾回收器。它会自动检测并回收那些不再使用的内存,以减少内存泄漏问题。堆栈分配:Golang使用堆栈分配来管理函数调用期间的内存。对于函数内的
2023-10-21

Go语言中内存管理逃逸分析详解

所谓的逃逸分析(Escape analysis)是指由编译器决定内存分配的位置吗不需要程序员指定。本文就来和大家简单分析一下Go语言中内存管理逃逸吧
2023-03-15

C++技术中的内存管理:如何优化内存分配策略?

优化 c++++ 内存分配策略至关重要,包括选择合适的分配器(new/delete、std::allocator、第三方分配器)和分配策略(堆分配、栈分配、对象池、slab 分配器)。通过优化策略,可以减少内存碎片,提高程序执行速度,避免内
C++技术中的内存管理:如何优化内存分配策略?
2024-05-07

不同语言中内存管理与Go语言内存管理的差异

go 语言的内存管理与传统语言(如 c++++、java)不同:传统语言:采用手动内存管理,程序员负责分配和释放内存块。go 语言:采用垃圾回收(gc),自动管理内存,程序员无需手动管理。这种差异导致了以下不同点:手动管理 vs. 自动管理
不同语言中内存管理与Go语言内存管理的差异
2024-04-11

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录