python大ip文件排重
短信预约 -IT技能 免费直播动态提醒
1 需求：
整理个IP列表，需要将IP去重下，统计一共多少来源
本来想直接shell命令解决，简单的 sort 管道 uniq 然后wc下
无奈文件太大，条数多，处理效率不堪
文件大概5G，几亿条数据吧
2 PLAN A 未遂
shell处理：
#time sort ip | uniq | wc -l然后没啥反应了。。。。 其实是在处理中，最后被我ctrl c了
3 PLAN B
没办法写个简单的python，用列表的排重特性（需要注意文件读取的方法，不要将文件一次全部读取到内存。。。）：
#! /usr/bin/env python
d={}
with open('ip', 'rb') as f:
for line in f:
d[line] = 'ip'
print len(d)time python read.py然后就很快结束了：
4 结束
简单看下资源消耗情况：
优势还是挺明显的，以小见大吧，希望python可以帮助大家解决工作中的实际问题，不论大小。
免责声明：
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
