如何提高网站的包容性
如何改善网站收录
要想提高网站收录,首先要确定一个网页是否被收录,有哪些因素与之相关。
第一,网页有没有被爬虫爬过?
第二,网页的内容质量是否达标?
确定了这个之后,我们还要看网站的收录率,也就是发表和收录了多少文章,收录比例是多少?很多网站懒得做这个指标。“我就看看网站的数据吧!”事实上,如果没有这个指标,很多工作都无法开展。从数据中找出问题,用数据指导解决,分析数据验证的结果。003010我个人觉得很好,数据分析的方法很生动。建议对数据分析感兴趣的同学可以买下来看看。
任何数据分析都包括四个步骤:目标-分析-评估-决策。
目标:我们想看看网站是如何被收录的,是否还有提高SEO的机会。
分析:包含的好坏是什么?是用一些指标来衡量的吗?网站的收录是不是太笼统了?应该细分每个页面的收录吗?
评价:所以我们需要以下数据,网站的页面层次。
各种级别页面带来的SEO流量
每个级别的页面包含状态是怎样的?
SEO流量的比例可以从GoogleAnalytics中筛选出来。页面的数量可以从数据库中获取,也可以通过机车或者自制脚本进行统计。
收录率可以通过工具搜索获取的页面,机车也可以。问题立刻凸显!
二级目录页带来的流量很大,收录率不是很好。流量优化收录的突破口就在这里!产品很多,收藏不太理想,但是流量有限。除了收藏,网页内容也有问题。本文先忽略。
决策:我们的结论是立即采取行动优化目录页面。
看到这里,似乎最初的目标:“通过优化收录来提高流量”演变成了新的目标:“如何提高目录页的收录”
这里可以通过数据分析再做SEO吗?
答案是肯定的!
我们再来一遍目标-分析-评估-决策的过程。
目的:增加目录页数。
分析:通过本文开头与收录相关的两个因素,我们需要检查网页是否被爬虫抓取过,网页质量是否达标。
1.关于爬虫的情况,需要分析日志才能确定。所以我们从日志中分离出一系列数据,看看这个页面是否真的被抓取了。
2.由于页面质量似乎是一个难以衡量的值,我们可以在同一个模板下使用以下内容:
已爬网页数/已爬网和已包含的页数,用于评估此模板的页面质量对包含的影响。如果抓取的页面全部收录,至少说明这个页面的内容搜索引擎是认可的。(实际情况远比这个复杂,收录后可能会因质量问题被删除,但总比完全没有参考好吧!)
评价:(敏感信息用数字代替,都是真实数据)
p>先看一下爬虫日志的情况,通过Shell脚本,我们可以分析出。
目录总计被爬行的次数为13000次左右
不重复的目录爬行次数为5500次左右
频道A下的目录几乎被100%抓取过至少1次,频道B的目录抓取也不错,有70%被至少抓过一次。
其余频道下的目录被抓取的覆盖率不到30%
不要觉得这个结果很神奇,其实很多网站都会面对这样的糟糕问题,只要你把数据不断的细分,细分,再细分,总会观察出一些端倪的。
关于日志分析,不要迷信任何的日志分析软件,那都是给懒人用的,自制脚本+Excel才是王道,可以拆分显示出任何你想要的数据,当然,甚至可以连Excel都不要。
然后,我们统计了一下被抓得最频繁的频道A和频道B,目录页的收录率
频道A和B是很让人放心的,说明页面质量没问题,但是余下的收录情况就让人比较担心了。
决策:通过上面的数据评估,我们已经得到了如下结论。
页面质量并不是影响收录的原因, 频道A,B的抓取量异常的高,通过调查了解,原来是首页上的目录页,显示的全是频道A下的目录页,首页又拥有全站最高的权重。频道B拥有比其他频道强大的外链资源,权重也非常高。
除了A, B频道,其他频道的抓取情况不容乐观,抓取入口太少,太深,进而影响了收录情况。
很明显,现在频道A从站内的角度来说太强大了,必须进行一些“劫富济贫”的运动来降低频道A的抓取量,转移到其他频道中去。同时,需要给爬虫提供更多的入口抓取频道页。
现在问题变得清晰起来,我们开始把工作分成两部分:1.提供更多的入口 2.将资源平分给各频道而不是集中在少数几个频道上。
提供入口工作:
1.把目录页的URL制作成sitemap。提交给搜索引擎,并且将其设置为比较高的抓取权重。
2.完善面包屑导航,将面包屑导航划分得更加细致,以提供更多入口
3.在其他产品中推荐目录页
资源平分工作:(一些概念:任意页面都有可能成为爬虫入口,百度爬虫抓取深度有限,页面相对入口越浅,被抓取的概率越高。)
1.原先首页指向的都是频道A的目录页+产品页,将其全部nofollow,确保从首页进入的爬虫,全部抓取到频道页,通过频道页再进入目录页(其实这个不算太重要)
2.原先频道页指向自身的产品页,将其全部nofollow(确保从频道页入口的爬虫,最大程度的抓取目录页)
3.从目录页返回到首页的链接,将其全部nofollow。
4.减少一些页面上无关链接。(什么情况下这么做都是非常有效的。)
现在可以开始动手了……
成果
这么做到底有什么效果呢,我们来看看修改后1个月后的数据。
目录页的收录率提高了100%!产品页的收录率也有一定程度的提高,这是归功于目录页对于产品的良好展现。
目录页的SEO表现:SEO流量占比上升了15%,增长10%的到访关键词数量(新页面的收录)
SEO流量增长了50%以上。(包含一些季节因素)
备注:
1.除了收录,排名也是问题,可以同步关注。
2.对于频道A这样特殊情况,甚至可以对其进行全屏蔽,但是技术上实现起来会略微麻烦。
相关文章
-
你认为按职称加工资好还是按工龄加工资好?
文章来源:老铁商城2020-01-06 -
月薪5万,要求你出国务工2年,中途不得回家,你愿意吗?
文章来源:老铁商城2020-01-06 -
公司派我去非洲工作,每天1000元补助,要不要去?
文章来源:老铁商城2020-01-06 -
是什么让你坚持上班没有离职呢?
文章来源:老铁商城2020-01-06 -
我已60岁,企业破产了,负债一千多万,怎样东山再起?
文章来源:老铁商城2020-01-06 -
如果腾讯、阿里、百度同时聘用你,你会选择哪一个公司?为什么?
文章来源:老铁商城2020-01-06 -
如果你痴迷钓鱼,每月给你10000块,钓遍全国的工作你愿意干吗?
文章来源:老铁商城2020-01-06