深度了解搜索引擎抓取及更新策略后,我们能做的还有很多!

seo经常会遇到收录、页面更新频率的一些问题,但是往往我们对这些问题解决的方式大多数都停留在:提交url、固有页面内调整抓取入口、发布外链以及投诉快照等操作上,这些操作与搜索引擎的抓取策略和更新策略都是息息相关的,我们对这些操作的本质了解多少?如果以上这些操作我们做完之后还是不收录还能做什么?

一、搜索引擎的抓取策略

深度了解搜索引擎抓取及更新策略后,我们能做的还有很多!

搜索引擎抓取策略大致分为以下四种:

宽度优先遍历策略

这种策略出现在搜索引擎搜索引擎二代初期,通过蜘蛛抓取到的页面进行URL提取直接追加到待抓取URL的队列末端等待抓取,该项策略的最大问题在于无法对重要网页进行及时抓取,但我们可以反过来思考下这个问题,如果我们该项页面在互联网上拥有大量推荐,那么该URL被发现的几率会大大提升,便可以提前进入待抓取URL队列,但这种操作基本上不常见,投入巨大但效果在当下来看并不是特别理想。

非完全PageRank策略这种策略

基于PageRank算法对页面抓取优先级进行排序,但由于搜索引擎抓取覆盖局限问题(大量未抓取页面和暗网页面)导致该项策略无法全局性计算,所以命名为“非完全PageRank策略”。

OCIP策略

OCIP策略也成为“在线页面重要性计算”,当搜索引擎抓取到一个网页时会将当前网页所拥有的权重值平均分给其页面上提取出的其余链接,并将当前页面权重值清空,以此达到待抓取网页权重值累加排序优先级的目的,此项策略与PageRank算法相似,但区别在于该项策略为即时计算无需迭代,但非完全PageRank策略需要将页面累积到一定量后重新计算各待抓取页面的权重值,需要迭代。


大站优先策略

顾名思义拥有大量数据并且页面质量达标的站点就是所谓的“大站”,达到大站以后搜索引擎便会以网站为单位进行抓取策略制定,我们结合上面的三种策略可以得出:如果想拥有大量的权重值就需要大量的链接指向,但当下搜索引擎降低外链质量分,我们只能通过制造大量符合标准的站内页面加上质量较好的友情链接才能将以上策略充分在自身站点发挥。

二、搜索引擎的更新策略

深度了解搜索引擎抓取及更新策略后,我们能做的还有很多!

搜索引擎抓取更新大致分为以下三种:
历史参考策略该项策略就是通过对以往站的更新频率以及更新量综合参考得出符合该站点的最佳更新频率,属于比较可控的操作方式,我们可以通过抓取策略中的大战优先策略将我们自身站点提升至大站水平,从而使历史参考策略发挥价值。用户体验策略用户体验策略主要是建立在用户搜索行为之上的更新策略,假设用户在搜索一个词时看完前3页的搜索结果还没有找到自己想要的内容依旧翻页,那就说明该搜索关键词所涉及到的索引库需要更新,搜索引擎便是由此利用该项策略对更新频率做了触发设置,翻页行为越强对更新影响越大。


聚类抽样策略对于互联网上所有站点搜索引擎都会将其做一个分类属性归属,以确保新站无法参与历史参考策略和用户体验策略,再通过对聚类中的站点抽样分析得出该分类属性站点的更新值,所以我们要注重新站上线后的站点属性设置问题,也是促进页面更新一种手段。

深度了解搜索引擎抓取及更新策略后,我们能做的还有很多!

通过以上的了解详细大家对抓取及更新都有了较为全面的认知,针对网页收录和更新操作也有了深入理解。

发布者:超威蓝猫,转转请注明出处:https://seowki.com/seo/baiduseo/4109.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-04-11 18:02
下一篇 2022-04-11 21:58

相关推荐

  • 常见的搜索引擎优化作弊手法有哪些?如何避免被误判?

    从普通的关键词密度重复作弊,或者钻搜索排序算法漏洞的黑帽操作手法,作为seo肯定都有一定的了解,本质上seo是没有黑帽以及白帽的分别,从往期我们文章内容不难看出,搜索引擎是希望可以将更符合用户体验的优质内容呈现给用户,对应我们做搜索引擎优化便是将自身的网页优化成符合用户体验的优质内容也是我们的初心,但机器毕竟是机器,算法毕竟是算法,总归还是可以找到可钻的漏洞…

    2022-04-12
    23400
  • 通过竞争度分析进行阶段关键词布局——拓词实验室

    在SEO的核心工作中,关键词拓展和对应落地页规划工作占据了大量的精力,通常我们在安排关键词与对应落地页基本上都是依托于关键词搜索量、指数和经验判断,既然如此那我们是否能将这些再数据化一点。 关于竞争度 一般来说我们对竞争度的评估有: 关键词本身的搜索量; 关键词本身的竞争对手数量; 竞争对手的页面类型; 竞争对手的对应页链接支持及增加频次; 竞争对手主域的权…

    2022-06-11
    7100
  • 什么是倒排索引,正向索引和倒排索引的区别是什么?

    SEO对倒排索引这个词并不陌生,但倒排索引的原理和索引结构具体是什么?索引的本质是在解决什么问题?为什么要用倒排索引?这一系列问题你会在阅读完本篇文章后有比较清楚的答案。 索引是什么? 如脑图所示,索引的存在便是为了解决将互联网海量信息进行分类,以一种合理的方式形成索引结构,让用户快速找到有价值的信息,索引结构在我们生活中也非常常见,比如一本书的目录、浏览器…

    2022-04-11
    25810
  • 搜素引擎是怎么判断采集的?采集还能否继续?

    首先我们先把问题深挖一下?问题本身就是一个误导,本质上搜索引擎并不是在判断采集,而是在判断内容的重复度以及内容的质量得分。只要把这一层想明白,问题就简单多了,而且还不会避免你的分析方向错误。 问题1:搜索引擎是否会根据我发布时间来判断我的内容是采集的? 仔细想一想这个问题本质上就是不成立的?假设我有一个站点每日发布内容10篇,每次间隔1小时,我组建了新的内容…

    2022-04-12
    21900
  • 新站搭建seo需要注意哪些要点?

    新建站点是新手和老手SEO都会遇到的情况,对于新建站点来说,确保抓取和收录工作就是当下的核心点,有哪些要点是可以起到促进作用的呢? 一、域名选择 选择一个好的域名能快速让百度对你的站点形成信赖感,有利于收录和索引的快速提升,通常我们在域名选择上会关注以下几点: 域名长度(越短越好) 域名年龄(越久越好) 域名级别(.com/.cn/.net/.org&#82…

    2022-06-15
    13200

发表评论

您的电子邮箱地址不会被公开。

评论列表(1条)

联系我

186-1297-5547

在线咨询: QQ交谈

邮件:1205221407@qq.com

工作时间:周一至周五,9:30-17:30,节假日休息

关注微信