如何引入ItemLoader和Item预处理函数-创新互联
今天就跟大家聊聊有关如何引入ItemLoader和Item预处理函数,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。
创新互联坚持“要么做到,要么别承诺”的工作理念,服务领域包括:做网站、成都网站制作、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的远安网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!1.引入ItemLoader
在项目的item.py文件中创建一个自定义的loader类,然后让这个自定义类继承ItemLoader类;
class XkdItemLoader(ItemLoader): default_output_processor = TakeFirst()
ItemLoader类的语法:
scrapy.loader.ItemLoader([ item,selector,response,] ** kwargs )
,它可以接收一个 Item 实例来指定要加载的 Item,然后指定 r来确定要解析的内容esponse 或者 selector; ItemLoader 实例还提供很多方法,如提供add_css()方法和add_xpath()方法来通过 css 和xpath 解析赋值,或使用add_value()方法来单独进行赋值等。更多其他的用法大家可以查看: https://doc.scrapy.org/en/latest/topics/loaders.html
2.修改spider,让itemloader完成素定位和元素解析
首先重写spider中的parse_analyse方法,导入自定义的loader类,然后需要实例化这个loader类,将参数item和response传递到loader类中。 然后可以使用add_css()、add_xpath()、add_value()方法来提取和收集数据保存到loader类实例化对象中; 最后当所有数据被收集起来之后,调用
ItemLoader.load_item()
方法对结果进行解析并保存到一个item中,然后返回这个item;
def parse_analyse(self, response): # 构建loader xkd_itemload = MyItemLoader(item=XkdDribbbleSpiderItem(), response=response) image_url = response.meta.get('a_image_url') # 通过loader定位元素和解析元素 xkd_itemload.add_css('title', "[role='article'] header h2") # 注意这里传递的是一个列表 xkd_itemload.add_value('image_url', [image_url]) xkd_itemload.add_value('url', response.url) xkd_itemload.add_value('url_id', get_md5(response.url)) xkd_itemload.add_css('date', 'p span.date::text') # 解析元素之后返回item xkd_item = xkd_itemload.load_item() # 将item返回 yield xkd_item
3.修改item数据模型
修改item数据模型,需要导入
from scrapy.loader.processors import MapCompose
,可以在scrapy.Field中加入处理函数。MapCompose是一种处理器,由给定功能的组合构成,类似于Compose处理器,与此处理器的不同之处在于内部结果在函数之间传递的方式;Scrapy还给我们提供了一个
scrapy.loader.processors.TakeFirst()
方法,用于返回第一个非空值(相当于extract_first()方法),常用于单值字段的输出处器,无参数;
from scrapy.loader.processors import TakeFirst, MapCompose from datetime import datetime def str_to_date(str_date): str_date = str_date.strip() date = datetime.strptime(str_date, '%b %d, %Y').date() return date.strftime('%Y-%m-%d') class XkdDribbbleSpiderItem(scrapy.Item): title = scrapy.Field() image_url = scrapy.Field( output_processor = MapCompose(lambda value: value) ) date = scrapy.Field( input_processor = MapCompose(str_to_date) ) image_path = scrapy.Field() url = scrapy.Field() url_id = scrapy.Field()
看完上述内容,你们对如何引入ItemLoader和Item预处理函数有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联-成都网站建设公司行业资讯频道,感谢大家的支持。
网站名称:如何引入ItemLoader和Item预处理函数-创新互联
网页地址:http://scyanting.com/article/csjhco.html