python 抓网页内容分析
短信预约 -IT技能 免费直播动态提醒
用Python语言写搜索引擎蜘蛛的脚本非常简单、轻松。给大家分享两种抓网页内容的方法
一、用urllib2/sgmllib包，将目标网页的所有URL列出。
import urllib2
from sgmllib import SGMLParser
class URLLister(SGMLParser):
def reset(self):
SGMLParser.reset(self)
self.urls = []
def start_a(self, attrs):
href = [v for k, v in attrs if k=='href']
if href:
self.urls.extend(href)
f = urllib2.urlopen("http://www.baidu.com/")
if f.code == 200:
parser = URLLister()
parser.feed(f.read())
f.close()
for url in parser.urls: print url
二、用python调用IE抓取目标网页（Require win32com, pythoncom）的所有图像的url和大小
import win32com.client, pythoncom
import time
ie = win32com.client.DispatchEx('InternetExplorer.Application.1')
ie.Visible = 1
ie.Navigate("http://news.sina.com.cn")
while ie.Busy:
time.sleep(0.05)
doc = ie.Document
for i in doc.p_w_picpaths:
print i.class="lazy" data-src, i.width, i.height
这种方法可以利用IE本身的Javascript. DHTML的支持，来做自动提交Form,和处理Javascript。
有关样例可以参考http://win32com.de
一、用urllib2/sgmllib包，将目标网页的所有URL列出。
import urllib2
from sgmllib import SGMLParser
class URLLister(SGMLParser):
def reset(self):
SGMLParser.reset(self)
self.urls = []
def start_a(self, attrs):
href = [v for k, v in attrs if k=='href']
if href:
self.urls.extend(href)
f = urllib2.urlopen("http://www.baidu.com/")
if f.code == 200:
parser = URLLister()
parser.feed(f.read())
f.close()
for url in parser.urls: print url
二、用python调用IE抓取目标网页（Require win32com, pythoncom）的所有图像的url和大小
import win32com.client, pythoncom
import time
ie = win32com.client.DispatchEx('InternetExplorer.Application.1')
ie.Visible = 1
ie.Navigate("http://news.sina.com.cn")
while ie.Busy:
time.sleep(0.05)
doc = ie.Document
for i in doc.p_w_picpaths:
print i.class="lazy" data-src, i.width, i.height
这种方法可以利用IE本身的Javascript. DHTML的支持，来做自动提交Form,和处理Javascript。
有关样例可以参考http://win32com.de
免责声明：
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
