C#使用ScrapySharp快速从网页采集数据
ScrapySharp是一个帮助我们快速实现网页数据采集的库，它主要提供了如下两个功能
从Url获取Html数据
提供CSS选择器的方式解析Html节点
安装：
ScrapySharp可以直接从Nuget上下载，直接从Package Console里面输入如下命令即可：
PM> Install-Package ScrapySharpHtml下载
首先我们来看看它的Html下载功能，它是通过ScrapingBrowser类来实现的：
var browser = new ScrapingBrowser();
var html = browser.DownloadString(new Uri("http://www.cnblogs.com/"));这个只是一个简单的示例，实际上ScrapingBrowser的功能还是非常全面的，常见的功能如：Charset探测，AutoRedirect、Cache、 Proxy、Cookie、UserAgent、表单提交等都支持得非常好，用它来获取网页比HttClient要方便很多。
Html解析
ScrapySharp的Html解析是基于大名鼎鼎的HtmlAgilityPack来实现的，它主要提供了两个扩展函数CssSelect和CssSelect：
static IEnumerable<HtmlNode> CssSelect(this HtmlNode node, string expression);
static IEnumerable<HtmlNode> CssSelect(this IEnumerable<HtmlNode> nodes, string expression);
static IEnumerable<HtmlNode> CssSelectAncestors(this HtmlNode node, string expression);
static IEnumerable<HtmlNode> CssSelectAncestors(this IEnumerable<HtmlNode> nodes, string expression);相比HtmlAgilityPack提供的层级式解析和Xpath方式的解析比起来，CSS选择器的更为简单快捷，这里以解析博客园的首页标题为例，首先用开发者工具定位标题，可以看到其HTML结构的方式如下：
解析的代码如下：
var doc = new HtmlDocument();
doc.LoadHtml(html);
var docNode = doc.DocumentNode;
var nodes = docNode.CssSelect(".titlelnk");
foreach (var htmlNode in nodes)
{
Console.WriteLine(htmlNode.InnerText);
}其中关键代码只有docNode.CssSelect(".titlelnk")一句，非常简洁。另外，由于CSS方式比较灵活，如下方式也能获取到标题
var nodes = docNode.CssSelect(".post_item_body > h3");
var nodes = docNode.CssSelect("div#post_list").CssSelectAncestors("h3");最后，列举一下常用的CSS查询，以方便后续的使用：
html.CssSelect("div"); //all div elements
html.CssSelect("div.content"); //all div elements with css class 'content'
html.CssSelect("div.widget.monthlist"); //all div elements with the both css class
html.CssSelect("#postPaging"); //all HTML elements with the id postPaging
html.CssSelect("div#postPaging.testClass"); // all HTML elements with the id postPaging and css class testClass
html.CssSelect("div.content > p.para"); //p elements who are direct children of div elements with css class 'content'
html.CssSelect("input[type = text].login"); // textbox with css class login更多的CSS选择器使用方法可以参看W3的网页：CSS 选择器参考手册
到此这篇关于ScrapySharp快速采集数据的文章就介绍到这了。希望对大家的学习有所帮助，也希望大家多多支持编程网。
免责声明：
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
