是百度蜘蛛抽风了吗? 求 V 友解答! - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wujunze
V2EX    搜索引擎优化

是百度蜘蛛抽风了吗? 求 V 友解答!

  •  
  •   wujunze 2016-03-26 22:42:05 +08:00 2836 次点击
    这是一个创建于 3485 天前的主题,其中的信息可能已经有所发展或是发生改变。

    今天去百度看看我博客的收录情况,发现一个奇怪的问题.

    百度蜘蛛 SB

    百度说我的网站存在 robots.txt 指令限制? 我立马检查了一下我的 robots.txt

    robots 文件

    发现我的 robos.txt 并没有问题 之前百度收录也是正常的 https://wujunze.com

    ** 我看看 Google 和 360 收录是否正常 

    Google 收录 360 收录

    Google 和 360 收录都是正常的

    那我就搞不明白百度蜘蛛这是闹哪样?

    请 V 友帮忙解答一下

    15 条回复    2016-03-27 23:05:29 +08:00
    wujunze
        1
    wujunze  
    OP
       2016-03-26 22:50:13 +08:00
    有没有知道的?
    Lullaby
        2
    Lullaby  
       2016-03-26 22:52:23 +08:00
    你之前有没有限制过 BaiduSpider ?
    wujunze
        3
    wujunze  
    OP
       2016-03-26 22:56:08 +08:00
    @Lullaby 重来没有限制过 BaiduSpider
    m939594960
        4
    m939594960  
       2016-03-26 23:25:42 +08:00
    去站长工具看看 有个 robots 检测
    还有百度出现这种问题挺正常的。
    site:***.com 经常会出问题,有的时候还会混进别的额网站,有的时候关键词描述 完全不符

    你可以随便查个关键词(能找到你的网站的) 看看底下的东西对不
    wujunze
        5
    wujunze  
    OP
       2016-03-26 23:40:18 +08:00
    @m939594960 去站长工具检测 robots.txt 了 是没有限制的
    ![test]( http://i13.tietuku.cn/90d52a45ad798cd6.png)
    我网站的百度收录全掉了
    * 现在搜关键词搜不到我的网站了
    m939594960
        6
    m939594960  
       2016-03-26 23:47:40 +08:00
    观察了半天 发现真的没什么问题。。 mark 下等高人解密
    just1
        7
    just1  
       2016-03-27 01:13:58 +08:00
    请问一下 sitemap 是用什么生成的呢。之前用百度提供的 wordpress 插件,刚刚看了一下,从 20151122 之后就再也没更新了 wtf ,怪不得几个月没新收录
    cxh116
        8
    cxh116  
       2016-03-27 09:46:20 +08:00 via Android
    开了 https ,百度掉了正常。
    wujunze
        9
    wujunze  
    OP
       2016-03-27 11:17:35 +08:00
    @just1 我刚才去检查了一下,我的 sitemap 生成的没问题 之前收录一直是正常的,突然就全掉了
    @cxh116 这个 robots.txt 限制跟 HTTPS 没有关系吧 ** 我之前一直开启 HTTPS ** 网站收录也是正常的
    wujunze
        10
    wujunze  
    OP
       2016-03-27 11:20:39 +08:00
    @Lullaby
    @m939594960
    @just1
    @cxh116 帖子要沉了....... 有没有高手帮忙解答一下? 帮忙邀请点高手来回答
    Lullaby
        11
    Lullaby  
       2016-03-27 13:01:51 +08:00
    看下你 80/443 端口的 access 日志有没有机器人爬取记录
    实在不行把 robots.txt 先去掉
    不一定是技术原因,人为原因也是可能的你懂的,百度这货谁知道
    techyan
        12
    techyan  
       2016-03-27 13:12:41 +08:00 via iPhone
    百度,你懂的。反正我自己的站开全站 https+HSTS ,百度索引完全正常,并且很勤。
    wujunze
        13
    wujunze  
    OP
       2016-03-27 13:29:22 +08:00
    @Lullaby 我检查一下日志 百度这货....
    @techyan 我的网站之前一直收录正常的,昨天突然发现收录的全掉了
    zangbob
        14
    zangbob  
       2016-03-27 19:50:11 +08:00
    如果不太懂设计 robots.txt ,就直接删了,不要放。
    wujunze
        15
    wujunze  
    OP
       2016-03-27 23:05:29 +08:00
    @zangbob robots.txt 的指令是没有问题的
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3982 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 00:57 PVG 08:57 LAX 17:57 JFK 20:57
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86