《精通Scrapy网络爬虫》第三章

Selector对象

从页面中提取数据的核心技术是HTTP文本解析，在Python中常用Beautiful和lxml模块处理此类问题。Scrapy综合上述两者优点实现了Selector类，它是基于lxml库构建的。Selector类的实现位于scrapy.selector模块。
Selector的使用：

创建对象

创建Selector对象时，有两种方法，一是可将页面的HTML文档字符串传递给Selector构造方法的text参数,，例如：
selector = Selector(text=text)
二是使用一个Response对象构造Selector对象，将其传递给Selector构造器方法的response参数，例如：

response = HtmlRespone(url='http://www.example.com',body=body,encoding='utf-8')
selector = Selector(response=response)

选中数据

调用Selector对象的xpath方法或css方法会返回SelectorList对象，SelectorList支持列表接口，可用for语句迭代访问其中的每一个Selector对象。

selector_list = selector.xpath('//h1')
for sel in selector_list:
	print(sel.xpath('./text()'))

提取数据

调用Selector或者SelectorList对象的以下方法可将选中的内容提取：

• extract()
• re()
• extract_first() （SelectorList专有）
• re_first() （SelectorList专有）

在实际开发中，我们直接使用Response对象内置的Selector对象。Response对象还提供了xpath和css方法，它们在内部分别调用内置Selector对象的xpath和css方法，可使用快捷方式。

response.xpath('.//h1/text()').extract()
response.css('li::text').extract()

XPath

XPath即XML路径语言，它是一种用来确定xml文档中某部分位置的语言。
xml文档的节点有多种类型，最常用的如下：

• 根节点
• 元素节点 html、body、div、p、a
• 属性节点 href
• 文本节点 helloworld、Click here

节点间的关系：

• 父子
• 兄弟
• 祖先、后裔

基础语法

常用函数

• position()：选中位置大于或者小于或者等于某个值的节点
• last()：选中最后一个
• string(arg)：返回参数的字符串值
• contains(str1,str2)：判断str1中是否包含str2，返回布尔值

CSS选择器

CSS即层叠样式表，其 选择器是一种用来确定HTML文档中某部分位置的语言。

基本语法