发现一个很奇怪的问题, cheerio 在 window 和 mac 结果完全不一样 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
lwd219

发现一个很奇怪的问题, cheerio 在 window 和 mac 结果完全不一样

  •  
  •   lwd219 2018 年 9 月 6 日 4052 次点击
    这是一个创建于 2787 天前的主题,其中的信息可能已经有所发展或是发生改变。

    是这样的,心血来潮研究一下 node 爬虫,其中用到了 cheerio 模块,楼主工作用的电脑是 Mac,这个模块用在 Mac 上非常顺手,但是我在我自己的服务器上用,同样的代码,同样的版本,windows server 2008 r2 完全用不了,打印出来的东西不知道是什么鬼东西,求助一下,求大佬解惑

    14 回复    2018-10-02 14:01:03 +08:00
    LengthMin
        1
    LengthMin  
       2018 年 9 月 6 日
    iconv 试一下
    ps: 我之前有一次读出来中文汉字全是问号, 后面把 Header 里面的 Host 去掉又能正常读取汉字了...
    wxsm
        2
    wxsm  
       2018 年 9 月 6 日
    这么说不太好分析,建议贴出具体问题,执行 log 等
    lwd219
        3
    lwd219  
    OP
       2018 年 9 月 6 日
    @LengthMin 不是编码的问题,是在 Windows server 2012 上出来的结果跟 mac 上结果完全不一样,在 Mac 上可以使用 jquery 语句一层一层往下找,结构很清晰,比如 $('body').find('.list') 在 mac 上很完美,在 win 下就可能返回 length:0
    Trim21
        4
    Trim21  
       2018 年 9 月 6 日 via Android
    服务器返回的 HTML 相同吗…
    realkenshinji
        5
    realkenshinji  
       2018 年 9 月 6 日 via iPhone
    日志不贴,response 不贴,你让人家怎么帮你?
    cctv1005s927
        6
    cctv1005s927  
       2018 年 9 月 6 日
    FakeLeung
        7
    FakeLeung  
       2018 年 9 月 6 日
    先确定返回的数据是否一致先?说不定人家屏蔽了 xx 云的 ip 呢。
    lwd219
        8
    lwd219  
    OP
       2018 年 9 月 6 日 via Android
    @Trim21 我能说结构完全不一样,同样一句$("body") win 下返回的一大串 json,都不敢一个个往下找,mac 直接就出来了
    lovedebug
        9
    lovedebug  
       2018 年 9 月 6 日
    node 依赖的底层在 win 上本来就和 linux 不一样
    lovedebug
        10
    lovedebug  
       2018 年 9 月 6 日
    应该时和 Mac 不一样
    lwd219
        11
    lwd219  
    OP
       2018 年 9 月 6 日
    各位大佬,原因找到了,是 URL 的问题,有些网页在 Mac 上的地址和 win 上的地址不一样,在 Mac 上能打开,但是在 win 上就打不开
    mmnsghgn
        12
    mmnsghgn  
       2018 年 9 月 6 日
    很多通过 UA 判断的啊
    lwd219
        13
    lwd219  
    OP
       2018 年 9 月 6 日
    再提一句,服务器打不开是因为被他们网站的反爬虫屏蔽了 IP
    binaryify
        14
    binaryify  
       2018 年 10 月 2 日
    模拟下 UA
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     898 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 48ms UTC 19:48 PVG 03:48 LAX 12:48 JFK 15:48
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86