1.1用图表分析单变量数据

 1 import urllib.request
 2 import re
 3 
 4 
 5 def crawler(url):
 6     headers = {
 7         "User-Agent": "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"
 8     }
 9     req = urllib.request.Request(url, headers=headers)
10     response = urllib.request.urlopen(req)
11     
12     html = response.read().decode('utf-8')
13     print(type(html))
14     
15     pat = r'<tr align="center">(.*?)</tr>'
16     re_html = re.compile(pat, re.S) # re.S可以使匹配换行
17     trslist = re_html.findall(html) # 匹配出每条信息的数据
18     
19     x = []
20     y = []
21     for tr in trslist:
22         re_i = re.compile(r'<div align="center">(.*?)</div>', re.S)
23         i = re_i.findall(tr)
24         x.append(int(i[1].strip())) # 从每条数据中取出所需要的两个数据年份和诉求数量
25         y.append(int(i[2].strip()) if i[2] != '' else 0) # 当匹配到空字符串时就是数据缺失部分，用0代替
26     print(x,y) # 查看结果发现第一组和第四组数据有误，看源码发现他们两个的分类名不是使用的center标签，为了简便，手动添加这两个数据
27     x[0] = 1946
28     y[0] = 41
29     x[3] = 1949
30     y[3] = 28
31     return x, y
32     
33 url = "http://www.presidency.ucsb.edu/data/sourequests.php"
34 x, y = crawler(url)

1 import numpy as np
2 import matplotlib.pyplot as plt
3 from matplotlib.pylab import frange
4 
5 plt.figure(1)
6 plt.title("All data")
7 plt.plot(x, y, 'ro')
8 plt.xlabel('year')
9 plt.ylabel('No Presedential Request')

 1 ＃ 使用numpy中的求分位数函数分别计算
 2 perc_25 = np.percentile(y, 25)
 3 perc_50 = np.percentile(y, 50)
 4 perc_75 = np.percentile(y, 75)
 5 print("25th Percentile = %.2f" % perc_25)
 6 print("50th Percentile = %.2f" % perc_50)
 7 print("75th Percentile = %.2f" % perc_75)
 8 
 9 '''
10 结果：
11 25th Percentile = 13.00
12 50th Percentile = 18.50
13 75th Percentile = 25.25
14 '''

 1 # 在图中画出第25、50、75位的百分位水平线
 2 # ----------------------------------------
 3 plt.figure(1)
 4 plt.title("All data")
 5 plt.plot(x, y, 'ro')
 6 plt.xlabel('year')
 7 plt.ylabel('No Presedential Request')
 8 # ----------------------------------------
 9 plt.axhline(perc_25, label='25th perc', c='r')
10 plt.axhline(perc_50, label='50th perc', c='g')
11 plt.axhline(perc_75, label='75th perc', c='m')
12 plt.legend(loc='best')

 1 # 检查生成的图形中是否有异常点，若有，使用mask函数将其删除
 2 # 0是在起初获取数据时候的缺失值的填充，根据图像看到y=54的点远远高出其他，也按异常值处理
 3 y = np.array(y) # 起初发现y为0的点没有被删掉，考虑到他是对数组进行隐藏，而本来的y是个列表，因此又加了这一句，果然去掉了两个零点
 4 y_masked = np.ma.masked_where(y==0, y)
 5 y_masked = np.ma.masked_where(y_masked==54, y_masked)
 6 print(type(y),type(y_masked))
 7 
 8 '''
 9 <class 'numpy.ndarray'> <class 'numpy.ma.core.MaskedArray'>
10 '''

 1 # 重新绘制图像
 2 plt.figure(2)
 3 plt.title("Masked data")
 4 plt.plot(x, y_masked, 'ro')
 5 plt.xlabel('year')
 6 plt.ylabel('No Presedential Request')
 7 plt.ylim(0, 60)
 8 
 9 # 在图中画出第25、50、75位的百分位的水平线
10 plt.axhline(perc_25, label='25th perc', c='r')
11 plt.axhline(perc_50, label='50th perc', c='g')
12 plt.axhline(perc_75, label='75th perc', c='m')
13 plt.legend(loc='best')
14 plt.show()

1 plt.close('all') # 关闭之前打开的所有图形
2 plt.figure(1) # 给图形编号，在绘制多个图形的时候有用
3 plt.title('All data') # 设置标题
4 plt.plot(x, y, 'ro') # "ro" 表示使用红色（r）的点（o）来绘图