我的编程空间,编程开发者的网络收藏夹
学习永远不晚

python编码最佳实践之总结

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

python编码最佳实践之总结

相信用python的同学不少,本人也一直对python情有独钟,毫无疑问python作为一门解释性动态语言没有那些编译型语言高效,但是python简洁、易读以及可扩展性等特性使得它大受青睐。

工作中很多同事都在用python,但往往很少有人关注它的性能和惯用法,一般都是现学现用,毕竟python不是我们的主要语言,我们一般只是使用它来做一些系统管理的工作。但是我们为什么不做的更好呢?python zen中有这样一句:There should be one-- and preferably only one --obvious way to do it. Although that way may not be obvious at first unless you're Dutch. 大意就是python鼓励使用一种最优的方法去完成一件事,这也是和ruby等的一个差异。所以一种好的python编写习惯个人认为很重要,本文就重点从性能角度出发对python的一些惯用法做一个简单总结,希望对大家有用~

提到性能,最容易想到的是降低复杂度,一般可以通过测量代码回路复杂度(cyclomatic complexitly)和Landau符号(大O)来分析, 比如dict查找是O(1),而列表的查找却是O(n),显然数据的存储方式选择会直接影响算法的复杂度。

一、数据结构的选择
1. 在列表中查找:

对于已经排序的列表考虑用bisect模块来实现查找元素,该模块将使用二分查找实现


def find(seq, el) :
  pos = bisect(seq, el)
  if pos == 0 or ( pos == len(seq) and seq[-1] != el ) :
    return -1
  return pos - 1

而快速插入一个元素可以用:


 bisect.insort(list, element) 

这样就插入元素并且不需要再次调用 sort() 来保序,要知道对于长list代价很高.

2. set代替列表:

比如要对一个list进行去重,最容易想到的实现:


seq = ['a', 'a', 'b']
res = []
for i in seq:
  if i not in res:
    res.append(i)

显然上面的实现的复杂度是O(n2),若改成:


seq = ['a', 'a', 'b']
res = set(seq)

复杂度马上降为O(n),当然这里假定set可以满足后续使用。

另外,set的union,intersection,difference等操作要比列表的迭代快的多,因此如果涉及到求列表交集,并集或者差集等问题可以转换为set来进行,平时使用的时候多注意下,特别当列表比较大的时候,性能的影响就更大。

3. 使用python的collections模块替代内建容器类型:

collections有三种类型:

deque:增强功能的类似list类型
defaultdict:类似dict类型
namedtuple:类似tuple类型

列表是基于数组实现的,而deque是基于双链表的,所以后者在中间or前面插入元素,或者删除元素都会快很多。

defaultdict为新的键值添加了一个默认的工厂,可以避免编写一个额外的测试来初始化映射条目,比dict.setdefault更高效,引用python文档的一个例子:


#使用profile stats工具进行性能分析

>>> from pbp.scripts.profiler import profile, stats
>>> s = [('yellow', 1), ('blue', 2), ('yellow', 3),
... ('blue', 4), ('red', 1)]
>>> @profile('defaultdict')
... def faster():
... d = defaultdict(list)
... for k, v in s:
... d[k].append(v)
...
>>> @profile('dict')
... def slower():
... d = {}
... for k, v in s:
... d.setdefault(k, []).append(v)
...
>>> slower(); faster()
Optimization: Solutions
[ 306 ]
>>> stats['dict']
{'stones': 16.587882671716077, 'memory': 396,
'time': 0.35166311264038086}
>>> stats['defaultdict']
{'stones': 6.5733464259021686, 'memory': 552,
'time': 0.13935494422912598}

可见性能提升了快3倍。defaultdict用一个list工厂作为参数,同样可用于内建类型,比如long等。

除了实现的算法、架构之外,python提倡简单、优雅。所以正确的语法实践又很有必要,这样才会写出优雅易于阅读的代码。

二、语法最佳实践
字符串操作:优于python字符串对象是不可改变的,因此对任何字符串的操作如拼接,修改等都将产生一个新的字符串对象,而不是基于原字符串,因此这种持续的 copy会在一定程度上影响Python的性能:
(1)用join代替 '+' 操作符,后者有copy开销;

(2)同时当对字符串可以使用正则表达式或者内置函数来处理的时候,选择内置函数。如str.isalpha(),str.isdigit(),str.startswith((‘x', ‘yz')),str.endswith((‘x', ‘yz'))

(3)字符格式化操作优于直接串联读取:

str = "%s%s%s%s" % (a, b, c, d) # efficient
str = "" + a + b + c + d + "" # slow

2. 善用list comprehension(列表解析) & generator(生成器) & decorators(装饰器),熟悉itertools等模块:

(1) 列表解析,我觉得是python2中最让我印象深刻的特性,举例1:


   >>> # the following is not so Pythonic 
   >>> numbers = range(10)
   >>> i = 0 
   >>> evens = [] 
   >>> while i < len(numbers): 
   >>>  if i %2 == 0: evens.append(i) 
   >>>  i += 1 
   >>> [0, 2, 4, 6, 8] 

   >>> # the good way to iterate a range, elegant and efficient
   >>> evens = [ i for i in range(10) if i%2 == 0] 
   >>> [0, 2, 4, 6, 8]  

举例2:


def _treament(pos, element):
  return '%d: %s' % (pos, element)
f = open('test.txt', 'r')
if __name__ == '__main__':
  #list comps 1
  print sum(len(word) for line in f for word in line.split())
  #list comps 2
  print [(x + 1, y + 1) for x in range(3) for y in range(4)]
  #func
  print filter(lambda x: x % 2 == 0, range(10))
  #list comps3
  print [i for i in range(10) if i % 2 == 0]
  #list comps4 pythonic
  print [_treament(i, el) for i, el in enumerate(range(10))]

output:
24
[(1, 1), (1, 2), (1, 3), (1, 4), (2, 1), (2, 2), (2, 3), (2, 4), (3, 1), (3, 2), (3, 3), (3, 4)]
[0, 2, 4, 6, 8]
[0, 2, 4, 6, 8]
['0: 0', '1: 1', '2: 2', '3: 3', '4: 4', '5: 5', '6: 6', '7: 7', '8: 8', '9: 9']

没错,就是这么优雅简单。

(2) 生成器表达式在python2.2引入,它使用'lazy evaluation'思想,因此在使用内存上更有效。引用python核心编程中计算文件中最长的行的例子:


f = open('/etc/motd, 'r')
longest = max(len(x.strip()) for x in f)
f.close()
return longest

这种实现简洁而且不需要把文件文件所有行读入内存。

(3) python在2.4引入装饰器,又是一个让人兴奋的特性,简单来说它使得函数和方法封装(接收一个函数并返回增强版本的函数)更容易阅读、理解。'@'符号是装饰器语法,你可以装饰一个函数,记住调用结果供后续使用,这种技术被称为memoization的,下面是用装饰器完成一个cache功能:


import time
import hashlib
import pickle
from itertools import chain
cache = {}
def is_obsolete(entry, duration):
  return time.time() - entry['time'] > duration

def compute_key(function, args, kw):
  #序列化/反序列化一个对象,这里是用pickle模块对函数和参数对象进行序列化为一个hash值
  key = pickle.dumps((function.func_name, args, kw))
  #hashlib是一个提供MD5和sh1的一个库,该结果保存在一个全局字典中
  return hashlib.sha1(key).hexdigest()

def memoize(duration=10):
  def _memoize(function):
    def __memoize(*args, **kw):
      key = compute_key(function, args, kw)

      # do we have it already
      if (key in cache and
        not is_obsolete(cache[key], duration)):
        print 'we got a winner'
        return cache[key]['value']

      # computing
      result = function(*args, **kw)
      # storing the result
      cache[key] = {'value': result,-
              'time': time.time()}
      return result
    return __memoize
  return _memoize

@memoize()
def very_very_complex_stuff(a, b, c):
  return a + b + c

print very_very_complex_stuff(2, 2, 2)
print very_very_complex_stuff(2, 2, 2)


@memoize(1)
def very_very_complex_stuff(a, b):
  return a + b

print very_very_complex_stuff(2, 2)
time.sleep(2)
print very_very_complex_stuff(2, 2)

运行结果:


6

we got a winner

6

4

4

装饰器在很多场景用到,比如参数检查、锁同步、单元测试框架等,有兴趣的人可以自己进一步学习。

3. 善用python强大的自省能力(属性和描述符):自从使用了python,真的是惊讶原来自省可以做的这么强大简单,关于这个话题,限于内容比较多,这里就不赘述,后续有时间单独做一个总结,学习python必须对其自省好好理解。

三、 编码小技巧
1、在python3之前版本使用xrange代替range,因为range()直接返回完整的元素列表而xrange()在序列中每次调用只产生一个整数元素,开销小。(在python3中xrange不再存在,里面range提供一个可以 遍历任意长度的范围的iterator)
2、if done is not None比语句if done != None更快;
3、尽量使用"in"操作符,简洁而快速: for i in seq: print i
4、'x < y < z'代替'x < y and y < z';
5、while 1要比while True更快, 因为前者是单步运算,后者还需要计算;
6、尽量使用build-in的函数,因为这些函数往往很高效,比如add(a,b)要优于a+b;
7、在耗时较多的循环中,可以把函数的调用改为内联的方式,内循环应该保持简洁。
8、使用多重赋值来swap元素:

x, y = y, x # elegant and efficient

而不是:

temp = x
x = y
y = temp

9. 三元操作符(python2.5后):V1 if X else V2,避免使用(X and V1) or V2,因为后者当V1=""时,就会有问题。

10. python之switch case实现:因为switch case语法完全可用if else代替,所以python就没 有switch case语法,但是我们可以用dictionary或lamda实现:

switch case结构:


switch (var)
{
  case v1: func1();
  case v2: func2();
  ...
  case vN: funcN();
  default: default_func();
}
dictionary实现:

values = {
      v1: func1,
      v2: func2,
      ...
      vN: funcN,
     }
values.get(var, default_func)()
lambda实现:

{
 '1': lambda: func1,
 '2': lambda: func2,
 '3': lambda: func3
}[value]()

用try…catch来实现带Default的情况,个人推荐使用dict的实现方法。

这里只总结了一部分python的实践方法,希望这些建议可以帮助到每一位使用python的同学,优化性能不是重点,高效解决问题,让自己写的代码更加易于维护!

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

python编码最佳实践之总结

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

python编码最佳实践之总结

相信用python的同学不少,本人也一直对python情有独钟,毫无疑问python作为一门解释性动态语言没有那些编译型语言高效,但是python简洁、易读以及可扩展性等特性使得它大受青睐。工作中很多同事都在用python,但往往很少有人关
2022-06-04

C++图形编程最佳实践总结

在 c++++ 图像编程中,遵循最佳实践至关重要,包括:使用现代化的图形库,如 sfml、sdl2 或 opengl。优化性能,涉及使用双缓冲、最小化绘制调用、批处理顶点数据等。有效管理内存,使用智能指针、释放不再需要的资源。妥善处理异常,
C++图形编程最佳实践总结
2024-05-15

PHP 输出编码的最佳实践

php 输出编码最佳实践包括:指定正确的 content-type 标头使用 mb_http_output() 函数转换输出编码使用 htmlspecialchars() 函数转义特殊字符并设置编码优化输出缓冲以提高大量数据输出的性能PHP
PHP 输出编码的最佳实践
2024-05-02

Git分支管理最佳实践经验总结

Git分支管理最佳实践经验总结Git是目前最流行的版本控制工具之一,它通过分支管理极大地简化了团队协作开发过程中的工作流。然而,分支管理的复杂性可能会导致开发者陷入困境。本文将介绍几种基本的分支管理策略,以帮助开发团队更好地利用Git来协调
Git分支管理最佳实践经验总结
2023-11-03

Git工作流程管理最佳实践经验总结

Git工作流程管理最佳实践经验总结引言:在软件开发过程中,版本控制是一项重要的工作。Git作为一个流行的分布式版本控制系统,已经成为了大多数开发团队的首选工具之一。然而,尽管Git的强大和灵活性,但在实际应用中,仍然存在一些挑战和困惑。本文
Git工作流程管理最佳实践经验总结
2023-11-02

10个微妙的Java编码最佳实践

这是一个比Josh Bloch的Effective Java规则更精妙的10条Java编码实践的列表。和Josh Bloch的列表容易学习并且关注日常情况相比,这个列表将包含涉及API/SPI设计中不常见的情况,可能有很大影响。我在编写和维
2023-05-30

Git版本控制最佳实践:项目经验总结

Git版本控制是现代软件开发中不可或缺的工具,它具有快速、强大、分布式的特点,能够有效帮助团队协作,提高工作效率。在长期的实践中,我总结了一些Git版本控制的最佳实践,希望能够对大家有所帮助。一、合理规划仓库结构在创建仓库之前,我们需要合理
Git版本控制最佳实践:项目经验总结
2023-11-03

Git分支管理最佳实践:项目经验总结

Git是当今最流行的版本控制系统之一,它的分支管理功能是其最大的亮点之一。在软件开发中,Git的分支管理能够帮助团队更好地协作,提高开发效率,确保代码质量。本文将总结一些Git分支管理的最佳实践,希望能够对大家有所启示。一、主分支的管理主分
Git分支管理最佳实践:项目经验总结
2023-11-02

Git与持续集成最佳实践:项目经验总结

在当今软件开发领域中,Git 和持续集成已经成为了不可或缺的一部分。Git 是一种分布式版本控制系统,可以极大地简化多人协作,保证代码的版本历史和安全性。持续集成是一种将代码持续集成到主干分支的自动化流程,可以自动运行测试用例和构建过程,确
Git与持续集成最佳实践:项目经验总结
2023-11-02

PHP跨平台开发的最佳实践与经验总结

php 跨平台开发的最佳实践包括:使用 composer 管理依赖关系、避免平台相关代码、测试跨平台兼容性、使用跨平台框架以及考虑部署因素。实战中,可通过使用 composer 管理 doctrine dbal 依赖关系、避免使用平台特定的
PHP跨平台开发的最佳实践与经验总结
2024-05-21

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录