scrapy框架 Ajax数据爬取

  • 作者:weileng
  • 分类:爬虫
  • 发表日期:2020-06-04 11:09:57
  • 阅读(74)
  • 评论(0)

初步上手爬取某书的Ajax加载数据成功!

 

使用

selenium

控制

webdriver

爬取,直接打开浏览器抓取已加载的数据,只要控制台显示的数据,都能爬取,将之放在中间件中运行,加上

pipelines中的异步爬取,互不产生冲突。

 

 

 

提交评论

您尚未登录,登录之后方可评论~ 登录 or 注册

评论列表

暂无评论