用python爬取中国大学排名网站排名信息
短信预约 -IT技能 免费直播动态提醒
程序解决问题如下:
利用python网络爬虫爬取中国大学排名网站上的排名信息，将排名前20的大学的信息保存为文本文件，并在窗口打印出这20所大学的信息，按列打印和保存。
程序代码如下：
import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def fillUnivList(ulist, html):
soup = BeautifulSoup(html, "html.parser")
for tr in soup.find('tbody').children:
if isinstance(tr, bs4.element.Tag):
tds = tr('td')
hdfd = tds[0].find('div')
tt = hdfd.string.split()
ff = "".join(tt)
attr = tds[1].find('a')
hh = tds[4].string.split()
hg = "".join(hh)
shf=tds[2].text.split()
shfn="".join(shf)
ulist.append([ff, attr.string,shfn,hg])
def printUnivList(ulist, num):
tplt = "{0:^10}\t{1:{4}^10}\t{2:^10}\t{3:^10}"
print(tplt.format("排名","学校名称","省份","总分", chr(12288)))
with open('save.txt', 'w+', encoding='utf-8') as f:
f.write(tplt.format("排名","学校名称","省份","总分", chr(12288)))
f.write('\n')
for i in range(num):
u = ulist[i]
print(tplt.format(u[0], u[1], u[2],u[3],chr(12288)))
with open('save.txt', 'a', encoding='utf-8') as f:
f.write(tplt.format(u[0], u[1], u[2],u[3],chr(12288)))
f.write('\n')
def main():
with open('save.txt', 'w+', encoding='utf-8') as f:
f.write("排名,学校,省份,总分\n")
f.close()
uinfo = []
url = 'https://www.shanghairanking.cn/rankings/bcur/2021'
html = getHTMLText(url)
fillUnivList(uinfo, html)
printUnivList(uinfo, 20)
main()程序运行结果如下：
到此这篇关于用python爬取中国大学排名网站排名信息的文章就介绍到这了,更多相关python爬取中国大学排名信息内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！
免责声明：
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
