互联网技术 · 2024年2月22日

网站建设中可能导致死链产生的情况

新手站长在网站建设的时候,因为一些操作,导致正常的网站无法被搜索引擎爬虫访问,进而使搜索引擎认为该页面是死链接。除了页面无法打开,一下的几个点都可以导致网站死链的产生。

以下小编就给出一些死链的产生情况,本次文章素材来自百度公开课搜索引擎课程,具备相对的权威性。其他搜索引擎同样可以参考该篇文章来进行设置。

减少死链的产生,是从事SEO工作工作者必修课。

HTTP/HTTPS设置不当引起死链

问题场景:

1.HTTP可访问,HTTPS不可访问

2.HTTP不可访问,HTTPS可访问

建议:

整站行为一致,保证所有的URL正常访问,另外百度方面不建议HTTP与HTTPS共生。

封禁引起死链

问题场景:

1.用户可以正常访问,爬虫不能。(爬虫抓取的是错误的页面)

一些网站因为特殊性,导致用户可以正常访问,但是当爬虫访问时,却返回一个错误的页面。

2.PC端可访问,搜索引擎APP不能访问

搜索引擎爬虫可以访问PC端页面,但是不能访问APP。百度官方的公开课说到这个APP访问,暗指是支持APP内访问的一个分析,来作为一个综合评估参考。所以,不屏蔽百度APP对网站的访问。

3.DNS封禁

有些特定的DNS服务商会封禁搜索引擎爬虫来抓取域名的内容。这种在少数,毕竟目前主流域名厂商,已经主流的DNS厂商都没有做DNS封禁。

4.服务器站点策略封禁

有些服务器自带的安全策略会屏蔽百度蜘蛛的抓取,这种情况会产生死链(网页URL链接,但是无内容)。当这种情况在整个网站出现,会导致搜索引擎判断网站为一个劣质网站。会被降权。

建议:

合理的使用站长资源工具,来诊断站点是否能正常抓取

识别百度爬虫(双向DNS解析认证)解除封禁

对spider不公开内容设置robots协议封禁/设置死链,导致返回404

不建议使用额外的技术手段封禁百度爬虫。

对百度APP可以访问

DNS变更引起死链

问题场景:

站点更新DNS解析,将域名的IP变更,IP1变为IP2,中间有时间差。

当站点的更换域名解析的IP后,因为有些DNS并不能做到立即响应解析(一般为24小时)。我们拿24小时为例,中间有曾时间差,导致搜索引擎蜘蛛无法抓取,会评定为死链。

这个时候可以预留4-5天的缓存期,让爬虫来更新这个DNS

建议:

更换DNS后,使用站长资源平台工具来抓取测试,查看网站是否能正常抓取。

不建议频繁更换DNS的IP,如必须变更请,给爬虫抓取预留缓冲时间。

OpenMagic API

Need more than content? Move into the product flow.

If you are here for model access, pricing, developer docs, or the future API console, the dedicated product path now lives on api.openmagic.ai.