建站(zhàn)时,由于一些操作,导致正常的网站无法被(bèi)搜索引擎爬虫访(fǎng)问到,导致搜索引(yǐn)擎认为该页面(miàn)是死(sǐ)链接。除(chú)了页面(miàn)打不开之(zhī)外,以下几点(diǎn)也(yě)会(huì)导致网站(zhàn)死链接的产生。
减少死链(liàn)接的产生是(shì)SEO工作(zuò)者的必(bì)修(xiū)课(kè)。
不正确的 HTTP/HTTPS 设置会导致链(liàn)接断开
问题场景:
1.HTTP可以访问,HTTPS不能访问
2.HTTP无法访问,HTTPS可以访问(wèn)
建议:
整个站点的行为是一致的,保证所有的url都是正常的 另外,百度不推荐HTTP和HTTPS共生。
阻塞(sāi)导(dǎo)致死链接
问题场景(jǐng):
1、用(yòng)户可(kě)以正常访问,但是(shì)爬虫不能。 (爬虫爬错页面)
有(yǒu)些网站由于其(qí)特殊性,用户可以正常访问(wèn),但是(shì)当爬虫访问时,却返回了错误的页(yè)面。
2、PC端(duān)可以访问,搜索引擎APP无法访(fǎng)问(wèn)
搜索引擎(qíng)爬(pá)虫可以访问PC端页(yè)面,但是不(bú)能访问APP。百(bǎi)度官(guān)方公开课提到了这个APP接(jiē)入,暗示支持(chí)对APP接(jiē)入进行(háng)分析,作为(wéi)综合评测参考(kǎo)。因此,百度APP访(fǎng)问该网站并未被屏蔽。
3. DNS 禁令(lìng)
一些特(tè)定的DNS服务商会禁止(zhǐ)搜索引擎爬虫抓取域名内容。这是少数。毕竟目(mù)前主流的(de)域名厂商和主(zhǔ)流的DNS厂商都(dōu)没有做DNS屏蔽。
4.服务器站(zhàn)点(diǎn)政策禁止
有些服(fú)务器有自己的安全策略,会阻(zǔ)止百度蜘蛛爬行。在这种情(qíng)况下,将生成死链接(网页 URL 链接,但没有内容(róng))。当整个站点都出现这种情况时,可(kě)能会导致搜(sōu)索引(yǐn)擎将该站点判断为劣质站点。将(jiāng)被降职。