我的编程空间,编程开发者的网络收藏夹
学习永远不晚

Python性能分析工具pyinstrument提高代码效率

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

Python性能分析工具pyinstrument提高代码效率

天下武功,唯快不破。

编程也不例外,你的代码跑的快,你能快速找出代码慢的原因,你的码功就高。

安装

pip install pyinstrument

简单的使用

在程序的开始,启动 pyinstrument 的 Profiler,结束时关闭 Profiler 并打印分析结果如下:


from pyinstrument import Profiler
profiler = Profiler()
profiler.start() 
# 这里是你要分析的代码 
profiler.stop() 
profiler.print()

比如这段代码 123.py,我们可以清楚的看到是列表推导式比较慢:


from pyinstrument import Profiler
profiler = Profiler()
profiler.start()
# 这里是你要分析的代码
a = [i for i in range(100000)]
b = (i for i in range(100000))
rofiler.stop()
profiler.print()

上述分析需要修改源代码,如果你使用命令行工具,就不需要修改源代码,只需要执行 pyinstrument xxxx.py 即可:

比如有这样一段排序的程序 c_sort.py:


import sys
import time
import numpy as np
arr = np.random.randint(0, 10, 10)
def slow_key(el):
    time.sleep(0.01)
    return el 
arr = list(arr)
for i in range(10):
    arr.sort(key=slow_key)
print(arr)
 

这段代码里面故意放了一句 time.sleep(0.01) 来延迟性能,看看 pyinstrument 能否识别,命令行执行 pyinstrument c_sort.py:

从结果来看,程序运行了 1.313 秒,而 sleep 就运行了 1.219 秒,很明显是瓶颈,现在我们把它删除,再看看结果:

删除之后,性能最慢的就是 numpy 模块的初始化代码 __init__.py了,不过这些代码不是自己写的,而且并不是特别慢,就不需要去关心了。

分析 Flask 代码

Web 应用也可以使用这个来找出性能瓶颈,比如 flask,只需要在请求之前记录时间,在请求之后统计时间,只需要在 flask 的请求拦截器里面这样写:


from flask import Flask, g, make_response, request
app = Flask(__name__)
@app.before_request
def before_request():
    if "profile" in request.args:
        g.profiler = Profiler()
        g.profiler.start() 
@app.after_request
def after_request(response):
    if not hasattr(g, "profiler"):
        return response
    g.profiler.stop()
    output_html = g.profiler.output_html()
    return make_response(output_html)

假如有这样一个 API:


@app.route("/dosomething")
def do_something():
    import requests
    requests.get("http://google.com")
    return "Google says hello!"

为了测试这个 API 的瓶颈,我们可以在 url 上加一个参数 profile 就可以:http://127.0.0.1:5000/dosomething?profile,哪一行代码执行比较慢,结果清晰可见:

 

分析 Django 代码

分析 Django 代码也非常简单,只需要在 Django 的配置文件的 MIDDLEWARE 中添加


"pyinstrument.middleware.ProfilerMiddleware",

然后就可以在 url 上加一个参数 profile 就可以:

如果你不希望所有人都能看到,只希望管理员可以看到,settings.py 可以添加这样的代码:


def custom_show_pyinstrument(request):
    return request.user.is_superuser 
PYINSTRUMENT_SHOW_CALLBACK = "%s.custom_show_pyinstrument" % __name__

如果不想通过 url 后面加参数的方式查看性能分析,可以在 settings.py 文件中添加:


PYINSTRUMENT_PROFILE_DIR = 'profiles'

这样,每次访问一次 Django 接口,就会将分析结果以 html 文件形式保存在 项目目录下的 profiles 文件夹中。

分析异步代码

简单的异步代码分析:

async_example_simple.py:


import asyncio
from pyinstrument import Profiler 
async def main():
    p = Profiler()
    with p:
        print("Hello ...")
        await asyncio.sleep(1)
        print("... World!")
    p.print() 
asyncio.run(main())

复杂一些的异步代码分析:


import asyncio
import time
import pyinstrument
def do_nothing():
    pass 
def busy_wait(duration):
    end_time = time.time() + duration 
    while time.time() < end_time:
        do_nothing()
async def say(what, when, profile=False):
    if profile:
        p = pyinstrument.Profiler()
        p.start()
    busy_wait(0.1)
    sleep_start = time.time()
    await asyncio.sleep(when)
    print(f"slept for {time.time() - sleep_start:.3f} seconds")
    busy_wait(0.1)
    print(what)
    if profile:
        p.stop()
        p.print(show_all=True)
loop = asyncio.get_event_loop()
loop.create_task(say("first hello", 2, profile=True))
loop.create_task(say("second hello", 1, profile=True))
loop.create_task(say("third hello", 3, profile=True))
loop.run_forever()
loop.close()

工作原理

Pyinstrument 每 1ms 中断一次程序,并在该点记录整个堆栈。它使用 C 扩展名和 PyEval_SetProfile 来做到这一点,但只每 1 毫秒读取一次读数。你可能觉得报告的样本数量有点少,但别担心,它不会降低准确性。默认间隔 1ms 是记录堆栈帧的下限,但如果在单个函数调用中花费了很长时间,则会在该调用结束时进行记录。如此有效地将这些样本“打包”并在最后记录。

Pyinstrument 是一个统计分析器,并不跟踪,它不会跟踪您的程序进行的每个函数调用。相反,它每 1 毫秒记录一次调用堆栈。与其他分析器相比,统计分析器的开销比跟踪分析器低得多。

比如说,我想弄清楚为什么 Django 中的 Web 请求很慢。如果我使用 cProfile,我可能会得到这个:


151940 function calls (147672 primitive calls) in 1.696 seconds
   Ordered by: cumulative time
   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    1.696    1.696 profile:0(<code object <module> at 0x1053d6a30, file "./manage.py", line 2>)
        1    0.001    0.001    1.693    1.693 manage.py:2(<module>)
        1    0.000    0.000    1.586    1.586 __init__.py:394(execute_from_command_line)
        1    0.000    0.000    1.586    1.586 __init__.py:350(execute)
        1    0.000    0.000    1.142    1.142 __init__.py:254(fetch_command)
       43    0.013    0.000    1.124    0.026 __init__.py:1(<module>)
      388    0.008    0.000    1.062    0.003 re.py:226(_compile)
      158    0.005    0.000    1.048    0.007 sre_compile.py:496(compile)
        1    0.001    0.001    1.042    1.042 __init__.py:78(get_commands)
      153    0.001    0.000    1.036    0.007 re.py:188(compile)
  106/102    0.001    0.000    1.030    0.010 __init__.py:52(__getattr__)
        1    0.000    0.000    1.029    1.029 __init__.py:31(_setup)
        1    0.000    0.000    1.021    1.021 __init__.py:57(_configure_logging)
        2    0.002    0.001    1.011    0.505 log.py:1(<module>)

看完是不是还是一脸懵逼,通常很难理解您自己的代码如何与这些跟踪相关联。Pyinstrument 记录整个堆栈,因此跟踪昂贵的调用要容易得多。它还默认隐藏库框架,让您专注于影响性能的应用程序/模块:


  _     ._   __/__   _ _  _  _ _/_   Recorded: 14:53:35  Samples:  131
 /_//_/// /_\ / //_// / //_'/ //    Duration: 3.131     CPU time: 0.195
/   _/                    v3.0.0b3
Program: examples/django_example/manage.py runserver --nothreading --noreload
3.131 <module>  manage.py:2
└─ 3.118 execute_from_command_line  django/core/management/__init__.py:378
      [473 frames hidden]  django, socketserver, selectors, wsgi...
         2.836 select  selectors.py:365
         0.126 _get_response  django/core/handlers/base.py:96
         └─ 0.126 hello_world  django_example/views.py:4

最后的话

本文分享了 pyinstrument 的用法,有了这个性能分析神器,以后优化代码可以节省很多时间了,这样的效率神器很值得分享,毕竟人生苦短,能多点时间干点有意思的不香么?

以上就是Python性能分析工具pyinstrument提高代码效率的详细内容,更多关于Python性能分析工具pyinstrument的资料请关注编程网其它相关文章!

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

Python性能分析工具pyinstrument提高代码效率

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

使用 PHP 代码覆盖工具提高测试效率

如何使用 phpunit 进行 php 代码覆盖:安装 phpunit。配置 phpunit 配置文件(phpunit.xml)。运行代码覆盖命令(phpunit --coverage-html build/coverage)。解释报告:覆
使用 PHP 代码覆盖工具提高测试效率
2024-05-12

低代码云OA - 提高企业办公效率的革命性工具

随着信息技术的快速发展,企业对办公自动化的需求越来越高。传统的办公方式已经无法满足企业的高效管理需求,因此越来越多的企业开始寻求一种新的办公方式。本文将介绍一种革命性的工具——低代码云OA,它将帮助企业提高办公效率,降低运营成本,实现数字化转型。详细说明:1.什么是低代码云OA?低代码云OA是一种基于云计算和低代码开发
低代码云OA - 提高企业办公效率的革命性工具
2024-01-15

不容错过的提高网站性能的工具:提高效率的利器!

高效提升网站性能的利器:这些优秀工具不能错过!随着互联网的迅猛发展,越来越多的人开始关注网站的性能问题。无论是用户还是网站拥有者,我们都希望在浏览网站时能够快速加载所需内容,提供良好的使用体验。为了实现这一目标,我们需要利用一些优秀的工具
不容错过的提高网站性能的工具:提高效率的利器!
2024-02-03

Python 性能优化秘籍:全面提升代码效率

如何优化 Python 性能:全面提升代码效率
Python 性能优化秘籍:全面提升代码效率
2024-02-15

提高Go语言切片性能,优化代码执行效率

本篇文章向大家介绍《提高Go语言切片性能,优化代码执行效率》,主要包括,具有一定的参考价值,需要的朋友可以参考一下。优化Go语言切片的性能,提升代码效率在Go编程中,切片(slice)是一种动态数组类型,能够方便地处理变长数组,是Go语言中
提高Go语言切片性能,优化代码执行效率
2024-04-04

Python 性能诊断与调优:快速提升代码效率

Python 性能诊断与调优:提升代码效率
Python 性能诊断与调优:快速提升代码效率
2024-02-15

如何使用PHP7的生成器提高代码的性能和效率?

如何使用PHP7的生成器提高代码的性能和效率?在Web开发领域中,性能和效率是至关重要的。随着PHP的不断发展,PHP7引入了生成器(Generator)这一新特性,它能够在一定程度上提高代码的性能和效率。本文将介绍如何使用PHP7的生成器
2023-10-26

PHP扩展开发:如何通过性能分析工具提升自定义函数的效率?

使用 xdebug 和 blackfire 等性能分析工具,可以有效识别和解决 php 自定义函数中的性能问题:分析函数调用,识别多余调用并予以删除。优化循环内变量访问,使用局部变量存储已计算的值以减少不必要的访问。PHP 扩展开发:性能分
PHP扩展开发:如何通过性能分析工具提升自定义函数的效率?
2024-05-15

C++ 性能优化指南:探索提高代码执行效率的秘诀

c++++ 性能优化涉及多种技术,包括:1. 避免动态分配;2. 使用编译器优化标志;3. 选择优化数据结构;4. 应用缓存;5. 并行编程。优化实战案例展示了如何在整数数组中查找最长上升子序列时应用这些技术,将算法效率从 o(n^2) 提
C++ 性能优化指南:探索提高代码执行效率的秘诀
2024-05-23

亚马逊服务器数据分析工具:提高业务效率的必备利器

1.什么是亚马逊服务器数据分析工具?亚马逊服务器数据分析工具是一款用于分析亚马逊服务器数据的工具。它可以帮助用户快速、准确地分析服务器数据,从而提高业务效率。该工具可以分析服务器的性能、容量、网络流量等多个方面的数据,并提供可视化的报告和图表,帮助用户更好地理解数据。2.亚马逊服务器数据分析工具的优势2.1提高业务效率亚马逊服务器数据分析工具可以帮助用户快速、准确地分析服务器数据,从而提高业务效率。用户可...
2023-10-27

Python运算符的必备技巧:提高编程效率的不能错过的工具

不容错过的Python运算符:提高Python编程效率的必备技能导语:Python作为一种高级编程语言,为开发人员提供了许多强大而灵活的工具,以提高编程效率。其中之一就是Python的运算符,它可以使我们在进行数值运算、逻辑判断和数据处理
Python运算符的必备技巧:提高编程效率的不能错过的工具
2024-01-20

C++ 函数优化详解:提升代码性能和效率 - 关键技术解析

通过优化 c++++ 函数,可以提升代码性能和效率。关键技术包括:内联函数:消除函数调用的开销。传值方式:使用 by 引用修改实参。模板特化:针对特定类型优化函数模板。编译器优化标志:启用或禁用优化。手动内存管理:避免动态内存分配的开销。C
C++ 函数优化详解:提升代码性能和效率 - 关键技术解析
2024-05-02

C#中如何使用远程调试和性能分析工具优化代码性能及解决方法

C#中如何使用远程调试和性能分析工具优化代码性能及解决方法引言:在软件开发过程中,优化代码的性能是非常重要的一项任务。通过代码优化,可以使程序运行更加高效,提高用户体验,并减少资源消耗。在C#中,我们可以利用远程调试和性能分析工具来帮助我们
2023-10-22

如何使用Python中的内存管理技巧和优化算法提高代码性能和资源利用率

如何使用Python中的内存管理技巧和优化算法提高代码性能和资源利用率引言:Python作为一种高级编程语言,以其简洁、易读的语法和强大的功能而受到广泛的应用。然而,由于其动态类型和垃圾收集机制的特性,Python在内存管理方面可能存在一些
2023-10-27

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录