scrapy框架:爬某书 成功

  • 作者:weileng
  • 分类:爬虫
  • 发表日期:2020-06-03 15:15:23
  • 阅读(58)
  • 评论(0)

今天应该是学习scrapy的一个转折点,可以顺利的接手爬取大型网站了。

 

爬取了大型网站某书全站练手,基本网页信息全部获取,并存入数据库中,后期可能会同步于本站。

 

同时,也将标示开始学习多线程爬取和尝试爬取js渲染信息及尝试爬取反爬厉害的网站,并向他们学习。

提交评论

您尚未登录,登录之后方可评论~ 登录 or 注册

评论列表

暂无评论