“蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物,虽然网页界面看起来非常正常,但这些蜘蛛陷阱会对蜘蛛程序造成障碍。消除这些蜘蛛陷阱,可以使蜘蛛程序收录更多的网页。SEO优化中,网页被收录是基础工作,但对于搜索引擎来讲,极少情况会100%收录你网站的所有网页,搜索引擎的爬虫程序设计得再精巧,也难以逾越所谓的蜘蛛陷阱。
那么在SEO优化过程中哪些做法不利于蜘蛛爬行和抓取呢?作为SEO优化人员,又该怎么做才能去避免这些蜘蛛陷阱呢?
一、Flash模块
诚然Flash模块确实给人的视觉效果是非常棒的,从这个角度来说其实也是非常有利于用户体验,但很遗憾的是蜘蛛只能抓取一般的HTML代码,最喜欢的是文字信息,而Flash在搜索引擎眼里只是是个干巴巴的链接,根本不好判断里面到底是什么东西,自然也不利于网站的优化。
二、Javascript脚本
这个基本上和Flash是一个原理了,虽然可以整体增加网站的美感,但是很遗憾搜索引擎抓取不到,而且如果网站有太多这样的JS还会严重影响网站的加载速度,对网站排名不利,这也属于一种比较严重的蜘蛛陷阱。
三、Session ID
如果网站采用了Session ID来跟踪用户访问,这也是一个后果非常恶劣的蜘蛛陷阱,因为蜘蛛访问这种网站的时候,不管是什么页面,即使访问的是同一个页面,也会出现不一样的ID,根本就很难判断出哪个url才是主要页面,甚至还会误判为网站有大量页面存在重复的内容,这明显是要予以避免的地方。
四、带各种参数的动态URL
网站动态的URL越多,网站越会误导搜索引擎,如果设置不当也会造成搜索引擎判断不清到底哪个是正规的页面(原理上跟Session ID相似),而且动态URL也是不利于蜘蛛抓取的,我们应该避免,建议站长手上的网站都要做一下静态化,并且屏蔽掉那些异常参数的url。
五、页面是frame框架结构
过去不少人的网站都是使用的框架结构,这种结构虽然代码精简,而且很方便我们站长来据此来更新维护我们的网站,但是,这种结构蜘蛛很难抓取得到,基本上抓不到这里面的内容,特别是里面有那些重要内容的时候,那更是对优化大大不利的。
六、必须要登陆才能访问
这是绝对不可取的,毕竟搜索引擎蜘蛛不是人,没有那么智能,他不会自动填写用户名、密码、验证码,这种情况的页面设置要特别是注意。
七、强制使用Cookies
原理基本同上,搜索引擎蜘蛛不会智能的按要求去强制的去使用Cookies,那么就会导致页面无法正常显示如此强制使用Cookies只能造成搜索引擎蜘蛛无法正常访问。
对于真正的SEO优化人员的来说,以上七中蜘蛛陷阱很容易就能规避,如果还出现上述的这些蜘蛛陷阱,基本上都是SEO优化人员自己粗心大意造成的。北京seo优化小编提醒大家,如果说自己确实无法完全兼顾去规避上的这些陷阱,那么北京SEO优化小编建议SEO优化人员不妨多看看自己网站收录页面的快照,看看是否快照所显示的内容和页面的本来内容是否有所差别,特别是碰到那些重要内容显示不出来的情况下,那么就要特别注意了,因为这很可能就是因为自己的网站掉入了上述的某种蜘蛛陷阱造成的。