我的编程空间,编程开发者的网络收藏夹
学习永远不晚

nginx+php-fpm整体上线k8s集群之后虚拟内存不断上涨原因排查

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

nginx+php-fpm整体上线k8s集群之后虚拟内存不断上涨原因排查

背景

为了可以更好的管理我们的lnmp集群,打算将原有的php环境整体打包成一个镜像然后上到k8s容器,这样可以不仅使用到k8s的快速扩缩容和管理的好处,而且让机器资源能更好被利用,减少机器数量

问题

当我们将流量从原有的php机器集群切换到k8s集群时,发现php容器的虚拟内存一直再涨,然后达到一个阈值之后就会开始回落,然后又继续上涨,表现如下

 

 原因

一开始我们还以为内存泄露了,不过内存泄露的话,内存使用率只会一直往上涨,这里有回落,说明大概率不是内存泄露

而经验老到的运维说这很有可能是因为PHP程序写日志到所在pod上,而根据linux系统的特性,写文件不会立马落盘,而是先写到本地缓存里,等达到一定量级之后才会落盘,这也就解释为什么虚拟内存会一直上涨,然后又会回落,最后就是这么反反复复

实验

在测试机写一个php接口,这个接口的功能就是写大量的日志数据,然后使用 ab来对这个接口进行压测,结果如下

确实会涨,这说明写日志确实会导致内存使用率的上涨

内存使用过程是如何的

既然知道这个问题的根源,那接下来简单讲讲这个内存使用过程是怎么导致会出现这个情况

首先先要知道

WSS(Working Set Size)和 RSS(Resident Set Size)是内存管理中两个相关但不同的概念。

WSS指的是当前进程正在使用的内存,包括其虚拟地址空间中已分配但未被使用的内存,以及已经被使用的内存页。换句话说,WSS是当前进程使用的活动内存。

而RSS则指的是当前进程使用的物理内存,也就是占用了进程物理内存的内存页数。RSS是用来衡量进程实际使用的物理内存大小。

因此,WSS通常比RSS要大。这是因为WSS包括了未使用但已分配的内存和已使用的内存,而RSS只包括已经占用了物理内存的内存页。

另外,WSS也会受到操作系统内存管理机制的影响,如内存页面换入换出机制等。在这些机制的调度下,可能会导致某些已使用但未活动的内存页被移出物理内存,从而导致WSS的变化。

而linux自身会有个文件缓存,主要作用是用来防止程序对文件的频繁操作从而导致对加大对磁盘的读写,先将文件存入缓存,等到合适时机再将文件写入到磁盘里

 衍生问题

从上面可以看出,k8s的pod运行了linux系统,而如果多个pod对同一个文件进行读写,会不会导致这个文件数据不一致呢

这个问题k8s主要是使用Kubernetes Volume 的方案来保证数据的一致性,多个pod挂载了同一个存储卷

从逻辑上pod本身的文件缓存是有可能导致文件的不一致,不过这一点借助强大亚马逊云提供的EKS集群很好的解决了这个问题,不过具体怎么解决确实难懂,这里就不再进行赘述了 

 

 

来源地址:https://blog.csdn.net/qq_41342577/article/details/129109073

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

nginx+php-fpm整体上线k8s集群之后虚拟内存不断上涨原因排查

下载Word文档到电脑,方便收藏和打印~

下载Word文档

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录