爬取博客园新闻重定向问题

  • 作者:weileng
  • 分类:爬虫
  • 发表日期:2020-06-24 18:00:56
  • 阅读(35)
  • 评论(0)

之前爬取过博客园的所有博客,因为搭建新的网站,重新又再次去爬取,本以为是信手拈来的事情,发现博客园有了新的改动。

 

先后爬取了博客园的博客,和新闻,新增两个问题。

1、爬取页面出现假死情况;

2、出现302重定向问题。

 

还有些小问题,比如博客内图片有私链锁,不让外链等。

 

第一个假死情况,百度上挺多的,而第二个重定向问题,目前在百度上并没有太好的解决方法。

 

博客园应该是在细节上判断爬虫。此处可以分享下,仔细观察其显示链接和检查其点击链接的不同。

 

一开始避开了博客模板的坑,后又掉入其新闻模板的坑,看似没有反爬处理,但挺恶心人的。

提交评论

您尚未登录,登录之后方可评论~ 登录 or 注册

评论列表

暂无评论