scrapy异步下载图片设置模板

  • 作者:weileng
  • 分类:爬虫
  • 发表日期:2020-05-29 16:41:38
  • 阅读(110)
  • 评论(0)

settings:

ITEM_PIPELINES = {
   # 'tupian.pipelines.TupianPipeline': 300,
    'scrapy.pipelines.images.ImagesPipeline': 1   #图片修改需要
}


#图片下载路径
IMAGES_STORE = os.path.join( os.path.dirname(os.path.dirname(__file__)),'images')  # 图片路径

items:
    title = scrapy.Field()
    image_urls = scrapy.Field()  # images  不能加s 按照他的固定名称来
    images = scrapy.Field()

爬虫获取url即可。
 

上一篇: scrapy爬取本站

下一篇: scrapy异步下载图片

提交评论

您尚未登录,登录之后方可评论~ 登录 or 注册

评论列表

暂无评论