正确使用日志分析方法,发挥其更大作用!

日志分析也是seo实操中的一项重要数据监控,主要用于爬虫抓取统计,以便seo分析后进行对应的调整,当下日志分析在市面上工具已经是非常多了,但工具并不是核心,分析才是,今天我们就来盘点一下日志分析中的那些核心关注点

日志分析也是seo实操中的一项重要数据监控,主要用于爬虫抓取统计,以便seo分析后进行对应的调整,当下日志分析在市面上工具已经是非常多了,但工具并不是核心,分析才是,今天我们就来盘点一下日志分析中的那些核心关注点。
d5fd217b-424f-4dbb-92d5-43c156f7e724

抓取频次统计

关于抓取频次统计,一般来说我们主要统计以下三方面:
  1. 单页面抓取频次;
  2. 目录抓取频次;
  3. 总体抓取频次;
这三个方面,第一点可以让我们对单页面是否被抓取有充分的了解,其次23所注重的便是模块和整体的抓取,一方面用于重点页面抓取更新频次提供有力数据,另一方面也可以反应整体网站的链接结构和新增抓取比例;
c5034a31-3f2e-4f05-9108-81583469a980

蜘蛛IP与状态码监控

蜘蛛IP与状态码监控也是一项尤为重要的手段,可以确保我们清楚分辨出那些是真实搜索引擎蜘蛛爬取,那些是虚假爬虫来采集内容或者恶意攻击。
状态码中通常我们会关注以下几种情况:
  • 200表示正常,抓取成功;
  • 304表示页面未修改;
  • 500代表访问服务器超时;
  • 404代表页面不存在;
  • 301与302代表访问跳转‘
  • ……
这些基本状态码也会给我们作出有效性调整提供有力的数据支撑。
8d5194ca-8be6-4aa7-9b5c-1681e015cff5

蜘蛛抓取访问时间段

理论上来讲,搜索引擎会针对站点制定一个合适的抓取习惯,也就是在合适的时间段来进行抓取,我们之前在培养蜘蛛抓取习惯中提到过,蜘蛛会根据网站运营方式和发布时间来养成习惯。
这个时候日志分析便派上了用场,除了可以用于验证是否养成抓取习惯之外,还可以反着适应,假设蜘蛛习惯在中午2点之前进行抓取,那我们就需要将重要信息和栏目更新发布全部设置在中午2点之前。

写在最后

工具推荐光年日志分析或者爱站工具包,如果有一定技术底子可以尝试用shell命令来分析,对于日志的分析是一个持续性的工作,搜索引擎蜘蛛抓取习惯也并非hi一成不变的,只有持续的进行分析才能不断对我们的robots以及死链文件进行丰富完善。

本文来自投稿,不代表SEOwiki立场,如若转载,请注明出处:https://seowki.com/archives/2448.html

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注