源码解析python的内存回收机制

2023-05-17 05:14

短信预约 -IT技能 免费直播动态提醒

一：建立对象引用计数

1. 相关代码

void
_Py_NewReference(PyObject *op)
{
    if (_Py_tracemalloc_config.tracing) {
        _PyTraceMalloc_NewReference(op);
    }
#ifdef Py_REF_DEBUG
    _Py_RefTotal++;
#endif
    Py_SET_REFCNT(op, 1);
#ifdef Py_TRACE_REFS
    _Py_AddToAllObjects(op, 1);
#endif
}

2. 代码解释

_Py_NewReference这个函数的主要目的是为新创建的Python对象建立引用计数。在CPython中，引用计数是用来管理内存的一种方法，当一个Python对象的引用计数变为零时，表示没有其他对象引用该对象，因此可以安全地将其内存回收。

下面是_Py_NewReference函数的各个部分的简要说明：

_Py_tracemalloc_config.tracing：当内存追踪功能启用时（即_Py_tracemalloc_config.tracing为真），调用_PyTraceMalloc_NewReference(op)以记录新引用的内存分配。
#ifdef Py_REF_DEBUG：如果启用了引用计数调试（即编译时定义了Py_REF_DEBUG），则增加全局引用计数_Py_RefTotal。
Py_SET_REFCNT(op, 1)：将新对象op的引用计数设置为1。
#ifdef Py_TRACE_REFS：如果启用了引用跟踪功能（即编译时定义了Py_TRACE_REFS），则调用_Py_AddToAllObjects(op, 1)将新对象op添加到所有对象列表中以进行跟踪。

这个函数通常在创建新的Python对象时调用，以便正确初始化引用计数。需要注意的是，这个函数是CPython内部使用的，不应该在普通Python代码或扩展模块中直接使用。

#ifdef Py_REF_DEBUG是一个C预处理器指令，它会检查是否在编译时定义了Py_REF_DEBUG宏。如果定义了这个宏，那么在#ifdef和#endif之间的代码块将被编译并包含在最终的程序中。否则，这部分代码将被忽略。

Py_REF_DEBUG宏用于启用引用计数调试功能。这个功能允许CPython开发者和扩展模块开发者在开发过程中更轻松地追踪和诊断潜在的引用计数错误。这对于调试内存泄漏或提前释放对象等问题非常有用。

当启用Py_REF_DEBUG时，_Py_RefTotal变量被用来跟踪当前分配给Python对象的总引用计数。这个全局计数器在每次创建新引用（如在_Py_NewReference函数中）时递增，在释放引用时递减。通过检查_Py_RefTotal的值，开发者可以在某些情况下发现可能的内存泄漏或错误的引用计数操作。

需要注意的是，Py_REF_DEBUG功能会带来一定的性能开销，因此在生产环境中通常不启用。在发布构建中，默认情况下不会定义Py_REF_DEBUG宏。在开发和调试阶段，可以通过配置构建选项来启用这个功能。

二: 引用计数增加

1. 相关源码

// 引用计数增加
void
Py_IncRef(PyObject *o)
{
    Py_XINCREF(o);
}

// 宏定义
#define Py_XINCREF(op) _Py_XINCREF(_PyObject_CAST(op))

// 内联函数
static inline void _Py_XINCREF(PyObject *op)
{
    if (op != NULL) {
        Py_INCREF(op);
    }
}

// 宏定义
#define Py_INCREF(op) _Py_INCREF(_PyObject_CAST(op))

static inline void _Py_INCREF(PyObject *op)
{
#ifdef Py_REF_DEBUG
    _Py_RefTotal++;
#endif
    op->ob_refcnt++;  // 对象的引用计数加1
}

2. 源码解释

_Py_INCREF函数是一个静态内联函数，用于增加给定Python对象（op）的引用计数。内联函数允许编译器在调用处内联展开函数体，以减少函数调用的开销。以下是_Py_INCREF函数的各个部分的简要说明：

#ifdef Py_REF_DEBUG：如果启用了引用计数调试（即编译时定义了Py_REF_DEBUG），则增加全局引用计数_Py_RefTotal。op->ob_refcnt++：增加给定Python对象op的引用计数（ob_refcnt字段）。

Py_INCREF是一个宏，用于调用_Py_INCREF函数。在调用_Py_INCREF之前，它首先使用_PyObject_CAST宏将给定的对象（op）转换为PyObject指针。这是为了确保_Py_INCREF函数接收到的参数具有正确的类型。在编写Python C扩展时，通常会使用Py_INCREF宏来增加Python对象的引用计数。

三：引用计数减少

1. 相关源码

void
Py_DecRef(PyObject *o)
{
    Py_XDECREF(o);
}

#define Py_XDECREF(op) _Py_XDECREF(_PyObject_CAST(op))

static inline void _Py_XDECREF(PyObject *op)
{
    if (op != NULL) {
        Py_DECREF(op);
    }
}

define Py_DECREF(op) _Py_DECREF(_PyObject_CAST(op))

static inline void _Py_DECREF(
#ifdef Py_REF_DEBUG
    const char *filename, int lineno,
#endif
    PyObject *op)
{
#ifdef Py_REF_DEBUG
    _Py_RefTotal--;
#endif
    if (--op->ob_refcnt != 0) {
#ifdef Py_REF_DEBUG
        if (op->ob_refcnt < 0) {
            _Py_NegativeRefcount(filename, lineno, op);
        }
#endif
    }
    else {
        _Py_Dealloc(op);
    }
}

// 引用计数等于0了，就调用dealloc函数进行对象删除
void
_Py_Dealloc(PyObject *op)
{
    destructor dealloc = Py_TYPE(op)->tp_dealloc;
#ifdef Py_TRACE_REFS
    _Py_ForgetReference(op);
#endif
    (*dealloc)(op);
}

2. 源码解释

在这段代码中，我们可以看到Py_DecRef、Py_XDECREF、_Py_XDECREF、Py_DECREF和_Py_DECREF这几个用于处理Python对象引用计数的函数和宏。

Py_DecRef：这是一个简单的封装函数，接受一个指向PyObject的指针o作为参数，然后调用Py_XDECREF(o)宏。
Py_XDECREF：这是一个宏，用于调用_Py_XDECREF函数。在调用之前，它使用_PyObject_CAST(op)宏将给定的对象（op）转换为PyObject指针。
_Py_XDECREF：这是一个静态内联函数，用于在给定对象不为NULL时调用Py_DECREF宏。这意味着如果对象指针为空（即op == NULL），则不会对引用计数进行任何操作。
Py_DECREF：这是一个宏，用于调用_Py_DECREF函数。在调用之前，它使用_PyObject_CAST(op)宏将给定的对象（op）转换为PyObject指针。
_Py_DECREF：这是一个静态内联函数，用于减少给定Python对象（op）的引用计数。以下是_Py_DECREF函数的各个部分的简要说明：

a. #ifdef Py_REF_DEBUG：如果启用了引用计数调试（即编译时定义了Py_REF_DEBUG），则减少全局引用计数_Py_RefTotal。

b. 减少对象的引用计数：使用--op->ob_refcnt来减少给定对象op的引用计数。

c. 判断引用计数是否为0：如果引用计数不为0，表示仍有其他对象引用该对象。如果引用计数为0，则调用_Py_Dealloc(op)来释放对象的内存。在引用计数调试模式下，还会检查引用计数是否为负数，如果是，则调用_Py_NegativeRefcount(filename, lineno, op)报告错误。

在Python C扩展中，通常使用Py_DECREF和Py_XDECREF宏来减少Python对象的引用计数。这些宏提供了安全和高效的方式来处理引用计数，以防止内存泄漏和提前释放对象。

四：对象删除

1. 相关源码

void
_Py_Dealloc(PyObject *op)
{
    destructor dealloc = Py_TYPE(op)->tp_dealloc;
#ifdef Py_TRACE_REFS
    _Py_ForgetReference(op);
#endif
    (*dealloc)(op);
}

2. 源码解释

_Py_Dealloc函数是CPython中用于释放Python对象内存的函数。它在对象的引用计数变为零时调用，表示没有其他对象引用该对象，可以安全地回收其内存。以下是_Py_Dealloc函数的各个部分的简要说明：

destructor dealloc = Py_TYPE(op)->tp_dealloc;：从给定Python对象op的类型对象中获取析构函数（tp_dealloc），并将其赋值给dealloc。每个类型对象都有一个与之关联的析构函数，该函数负责清理该类型的对象所占用的内存。#ifdef Py_TRACE_REFS：如果启用了引用跟踪功能（即编译时定义了Py_TRACE_REFS），则调用_Py_ForgetReference(op)将对象op从所有对象列表中删除，以便不再跟踪该对象。(*dealloc)(op);：调用dealloc指向的析构函数，释放对象op所占用的内存。这里使用了函数指针，这意味着dealloc可以指向任何类型的析构函数，从而可以灵活地处理不同类型的Python对象。