我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Go 中 time.After 可能导致的内存泄露问题解析

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Go 中 time.After 可能导致的内存泄露问题解析

一、Time 包中定时器函数

go v1.20.4

定时函数:NewTicker,NewTimer 和 time.After 介绍

time 包中有 3 个比较常用的定时函数:NewTicker,NewTimer 和 time.After:

  • NewTimer: 表示在一段时间后才执行,默认情况下执行一次。如果想再次执行,需要调用 time.Reset() 方法,这时类似于 NewTicker 定时器了。可以调用 stop 方法停止执行。
 func NewTimer(d Duration) *Timer
  // NewTimer 创建一个新的 Timer,它将至少持续时间 d 之后,在向通道中发送当前时间
  // d 表示间隔时间
 type Timer struct {
  	C <-chan Time
	r runtimeTimer
  }

重置 NewTimer 定时器的 Reset() 方法,它是定时器在持续时间 d 到期后,用这个方法重置定时器让它再一次运行,如果定时器被激活返回 true,如果定时器已过期或停止,在返回 false。

func (t *Timer) Reset(d Duration) bool
  • 用 Reset 方法需要注意的地方:

如果程序已经从 t.C 接收到了一个值,则已知定时器已过期且通道值已取空,可以直接调用 time.Reset 方法;

如果程序尚未从 t.C 接收到值,则要先停止定时器 t.Stop(),再从 t.C 中取出值,最后调用 time.Reset 方法。

综合上面 2 种情况,正确使用 time.Reset 方法就是:

if !t.Stop() {
	<-t.C
}
t.Reset(d)
  • Stop 方法
func (t *Timer) Stop() bool
// 如果定时器已经过期或停止,返回 false,否则返回 true

Stop 方法能够阻止定时器触发,但是它不会关闭通道,这是为了防止从通道中错误的读取值。

为了确保调用 Stop 方法后通道为空,需要检查 Stop 方法的返回值并把通道中的值清空,如下:

if !t.Stop() {
 <-t.C
}
  • NewTicker: 表示每隔一段时间运行一次,可以执行多次。可以调用 stop 方法停止执行。
func NewTicker(d Duration) *Ticker

NewTicker 返回一个 Ticker,这个 Ticker 包含一个时间的通道,每次重置后会发送一个当前时间到这个通道上。

d 表示每一次运行间隔的时间。

  • time.After: 表示在一段时间后执行。其实它内部调用的就是 time.Timer 。
func After(d Duration) <-chan Time

​ 跟它还有一个相似的函数 time.AfterFunc,后面运行的是一个函数。

NewTicker 代码例子:

package main
import (
	"fmt"
	"time"
)
func main() {
	ticker := time.NewTicker(time.Second)
	defer ticker.Stop()
	done := make(chan bool)
	go func() {
		time.Sleep(10 * time.Second)
		done <- true
	}()
	for {
		select {
		case <-done:
			fmt.Println("Done!")
			return
		case t := <-ticker.C:
			fmt.Println("Current time: ", t)
		}
	}
}

二、time.After 导致的内存泄露

基本用法

time.After 方法是在一段时间后返回 time.Time 类型的 channel 消息,看下面源码就清楚返回值类型:

// https://github.com/golang/go/blob/go1.20.4/class="lazy" data-src/time/sleep.go#LL156C1-L158C2
func After(d Duration) <-chan Time {
	return NewTimer(d).C
}
// https://github.com/golang/go/blob/go1.20.4/class="lazy" data-src/time/sleep.go#LL50C1-L53C2
type Timer struct {
	C <-chan Time
	r runtimeTimer
}

从代码可以看出它底层就是 NewTimer 实现。

一般可以用来实现超时检测:

package main
import (
	"fmt"
	"time"
)
func main() {
	ch1 := make(chan string, 1)
	go func() {
		time.Sleep(time.Second * 2)
		ch1 <- "hello"
	}()
	select {
	case res := <-ch1:
		fmt.Println(res)
	case <-time.After(time.Second * 1):
		fmt.Println("timeout")
	}
}

有问题代码

上面的代码运行是没有什么问题的,不会导致内存泄露。

那问题会出在什么地方?

在有些情况下,select 需要配合 for 不断检测通道情况,问题就有可能出在 for 循环这里。

修改上面的代码,加上 for + select,为了能显示的看出问题,加上 pprof + http 代码,

timeafter.go:

package main
import (
	"fmt"
	"net/http"
	_ "net/http/pprof"
	"time"
)
func main() {
	fmt.Println("start...")
	ch1 := make(chan string, 120)
	go func() {
		// time.Sleep(time.Second * 1)
		i := 0
		for {
			i++
			ch1 <- fmt.Sprintf("%s %d", "hello", i)
		}
	}()
	go func() {
		// http 监听8080, 开启 pprof
		if err := http.ListenAndServe(":8080", nil); err != nil {
			fmt.Println("listen failed")
		}
	}()
	for {
		select {
		case _ = <-ch1:
			// fmt.Println(res)
		case <-time.After(time.Minute * 3):
			fmt.Println("timeout")
		}
	}
}

在终端上运行代码:go run timeafter.go

然后在开启另一个终端运行:go tool pprof -http=:8081 http://localhost:8080/debug/pprof/heap ,

运行之后它会自动在浏览器上弹出 pprof 的浏览界面,http://localhost:8081/ui/ 。

本机运行一段时间后比较卡,也说明程序有问题。可以在运行一段时间后关掉运行的 Go 程序,避免电脑卡死。

用pprof分析问题代码

在浏览器上查看 pprof 图,http://localhost:8081/ui/ ,

从上图可以看出,内存使用暴涨(不关掉程序还会继续涨)。而且暴涨的内存集中在 time.After 上,上面分析了 time.After 实质调用的就是 time.NewTimer,从图中也可以看出。它调用 time.NewTimer 不断创建和申请内存,何以看出这个?继续看下面分析,

再来看看哪段代码内存使用最高,还是用 pprof 来查看,浏览 http://localhost:8081/ui/source

timeafter.go

上面调用的 Go 源码 NewTimer,

从上图数据分析可以看出最占用内存的那部分代码,class="lazy" data-src/time/sleep.go/NewTimer 里的 c 和 t 分配和申请内存,最占用内存。

如果不强行关闭运行程序,这里内存还会往上涨。

为什么会出现内存一直涨呢?

在程序中加了 for 循环,for 循环都会不断调用 select,而每次调用 select,都会重新初始化一个新的定时器 Timer(调用time.After,一直调用它就会一直申请和创建内存),这个新的定时器会增加到时间堆中等待触发,而定时器启动前,垃圾回收器不会回收 Timer(Go源码注释中有解释),也就是说 time.After 创建的内存资源需要等到定时器执行完后才被 GC 回收,一直增加内存 GC 却不回收,内存肯定会一直涨。

当然,内存一直涨最重要原因还是 for 循环里一直在申请和创建内存,其它是次要 。

// https://github.com/golang/go/blob/go1.20.4/class="lazy" data-src/time/sleep.go#LL150C1-L158C2
// After waits for the duration to elapse and then sends the current time
// on the returned channel. 
// It is equivalent to NewTimer(d).C.
// The underlying Timer is not recovered by the garbage collector
// until the timer fires. If efficiency is a concern, use NewTimer
// instead and call Timer.Stop if the timer is no longer needed.
func After(d Duration) <-chan Time {
	return NewTimer(d).C
}
// 在经过 d 时段后,会发送值到通道上,并返回通道。
// 底层就是 NewTimer(d).C。
// 定时器Timer启动前不会被垃圾回收器回收,定时器执行后才会被回收。
// 如果担心效率问题,可以使用 NewTimer 代替,如果不需要定时器可以调用 Timer.Stop 停止定时器。

在上面的程序中,time.After(time.Minute * 3) 设置了 3 分钟,也就是说 3 分钟后才会执行定时器任务。而这期间会不断被 for 循环调用 time.After,导致它不断创建和申请内存,内存就会一直往上涨。

那怎么解决循环调用的问题?解决了,就可能解决内存一直往上涨的问题。

解决问题

既然是 for 循环一直调用 time.After 导致内存暴涨问题,那不循环调用 time.After 行不行?

修改后的代码如下:

package main
import (
	"fmt"
	"net/http"
	_ "net/http/pprof"
	"time"
)
func main() {
	fmt.Println("start...")
	ch1 := make(chan string, 120)
	go func() {
		// time.Sleep(time.Second * 1)
		i := 0
		for {
			i++
			ch1 <- fmt.Sprintf("%s %d", "hello", i)
		}
	}()
	go func() {
		// http 监听8080, 开启 pprof
		if err := http.ListenAndServe(":8080", nil); err != nil {
			fmt.Println("listen failed")
		}
	}()
	// time.After 放到 for 外面
	timeout := time.After(time.Minute * 3)
	for {
		select {
		case _ = <-ch1:
			// fmt.Println(res)
		case <-timeout:
			fmt.Println("timeout")
			return
		}
	}
}

在终端上运行代码,go run timeafter1.go

等待半分钟左右,在另外一个终端上运行 go tool pprof -http=:8081 http://localhost:8080/debug/pprof/heap ,

自动在浏览器上弹出界面 http://localhost:8081/ui/ ,我这里测试,界面没有任何数据显示,说明修改后的程序运行良好。

在 Go 的源码中 After 函数注释说了为了更有效率,可以使用 NewTimer ,那我们使用这个函数来改造上面的代码,

package main
import (
	"fmt"
	"net/http"
	_ "net/http/pprof"
	"time"
)
func main() {
	fmt.Println("start...")
	ch1 := make(chan string, 120)
	go func() {
		// time.Sleep(time.Second * 1)
		i := 0
		for {
			i++
			ch1 <- fmt.Sprintf("%s %d", "hello", i)
		}
	}()
	go func() {
		// http 监听8080, 开启 pprof
		if err := http.ListenAndServe(":8080", nil); err != nil {
			fmt.Println("listen failed")
		}
	}()
	duration := time.Minute * 2
	timer := time.NewTimer(duration)
	defer timer.Stop()
	for {
		timer.Reset(duration) // 这里加上 Reset()
		select {
		case _ = <-ch1:
			// fmt.Println(res)
		case <-timer.C:
			fmt.Println("timeout")
			return
		}
	}
}

在上面的实现中,也把 NewTimer 放在循环外面,并且每次循环中都调用了 Reset 方法重置定时时间。

测试,运行 go run timeafter1.go,然后多次运行 go tool pprof -http=:8081 http://localhost:8080/debug/pprof/heap ,查看 pprof,我这里测试每次数据都是空白,说明程序正常运行。

三、网上一些错误分析

for循环每次select的时候,都会实例化一个一个新的定时器。该定时器在多少分钟后,才会被激活,但是激活后已经跟select无引用关系,被gc给清理掉。换句话说,被遗弃的time.After定时任务还是在时间堆里面,定时任务未到期之前,是不会被gc清理的

上面这种分析说明,最主要的还是没有说清楚内存暴涨的真正内因。如果用 pprof 的 source 分析查看,就一目了然,那就是 NewTimer 里的 2 个变量创建和申请内存导致的。

四、参考

  • https://pkg.go.dev/time#pkg-overview
  • https://github.com/golang/go/blob/go1.20.4/class="lazy" data-src/time/sleep.go
  • https://www.cnblogs.com/jiujuan/p/14588185.html pprof 基本使用
  • 《100 Go Mistakes and How to Avoid Them》 作者:Teiva Harsanyi

到此这篇关于Go 中 time.After 可能导致的内存泄露的文章就介绍到这了,更多相关go time.After 内存泄露内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Go 中 time.After 可能导致的内存泄露问题解析

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

Go 中 time.After 可能导致的内存泄露问题解析

这篇文章主要介绍了Go 中 time.After 可能导致的内存泄露,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
2023-05-18

如何解决定位并修复Go 中的内存泄露问题

这篇文章将为大家详细讲解有关如何解决定位并修复Go 中的内存泄露问题,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。Google Cloud Go 客户端库 [1] 通常在后台使用 gRPC 来连接 Goo
2023-06-25

如何解决Go语言中的并发内存泄漏问题?

如何解决Go语言中的并发内存泄漏问题?引言:随着大数据和云计算时代的到来,对于并发编程的需求变得越来越迫切。而Go语言作为一门支持高并发的语言,受到了广泛的关注和应用。然而,并发编程不仅仅带来了高性能和高效率,同时也带来了一些风险,其中最常
2023-10-22

C++中内存泄漏问题的分析与解决方案

C++中内存泄漏问题的分析与解决方案概述:内存泄漏是指程序在动态分配内存后,没有及时释放导致内存无法再被程序使用的情况。在C++开发中,内存泄漏是一个常见且严重的问题,一旦发生,会导致程序运行效率下降,最终可能导致程序崩溃。本文将对C++中
2023-10-22

PHP Git 实战:如何解决代码管理与协作中多人协作可能导致的问题?

答案:git 协作中常见的两个问题是代码冲突和不兼容的更改。代码冲突:当多人同时修改同一个文件时,会产生代码冲突,需要手动编辑文件解决冲突。不兼容的更改:当协作者做出不兼容的更改时,例如修改数据库架构和代码逻辑,需要手动调整代码确保兼容。P
PHP Git 实战:如何解决代码管理与协作中多人协作可能导致的问题?
2024-05-14
SQLServer 错误 1203 进程 ID %d 尝试对不归它所有的资源进行解锁: %.*ls。 请重试该事务,因为此错误可能是计时条件导致的。 如果该问题仍然存在,请与数据库管理员联系。 故障
2023-11-05

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录