最近遇到一个站的页面无法通过 curl 获取内容 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
whereFly
V2EX    PHP

最近遇到一个站的页面无法通过 curl 获取内容

  •  
  •   whereFly 2024-03-21 17:27:51 +08:00 2720 次点击
    这是一个创建于 601 天前的主题,其中的信息可能已经有所发展或是发生改变。

    好像是有同源策略限制,不怎么懂。 直接打开目标页面正常显示,通过 curl 获取的却是例外的内容,无解了吗?

    19 条回复    2024-03-22 09:14:22 +08:00
    tool2d
        1
    tool2d  
       2024-03-21 17:32:26 +08:00
    同源策略是针对浏览器的,而 curl 是纯客户端,并不存在这个限制,应该是别的什么原因。

    把地址贴出来看看呗。
    Routeros
        2
    Routeros  
       2024-03-21 17:33:43 +08:00
    盲猜 User-Agent
    tubinorg
        3
    tubinorg  
       2024-03-21 17:36:14 +08:00
    还有可能是重定向
    NessajCN
        4
    NessajCN  
       2024-03-21 17:39:53 +08:00
    你看浏览器请求头是啥,复制一份一样的进 curl -H 里再试试
    doublespout
        5
    doublespout  
       2024-03-21 17:41:07 +08:00
    有一次性的 token 这种令牌的限制? ajax 接口还是页面?
    tool2d
        6
    tool2d  
       2024-03-21 17:44:09 +08:00
    @tubinorg 还有可能是 nonce ,防止重返攻击的。

    浏览器访问过一次,参数失效,curl 客户端就不能访问了。除非把浏览器这个请求给拦截下来不发送。
    1018ji
        7
    1018ji  
       2024-03-21 17:48:49 +08:00
    你为啥不贴出来,又不犯法
    abccccabc
        8
    abccccabc  
       2024-03-21 17:57:22 +08:00
    会不会是套了一层 cf 的网站呢?
    yuzo555
        9
    yuzo555  
       2024-03-21 17:59:04 +08:00
    curl 的默认 User-Agent 是 curl/版本号,特别容易识别并屏蔽。
    zhenwang
        10
    zhenwang  
       2024-03-21 18:02:46 +08:00
    在浏览器上,网络请求中,针对请求,右键 复制 “以 cURL 格式复制”,再在 curl 中试下。
    j869716
        11
    j869716  
       2024-03-21 18:04:41 +08:00
    学会使用 `-vvv`
    err1y
        12
    err1y  
       2024-03-21 18:07:45 +08:00 via iPhone
    ua 或者 ja3
    keepfun
        13
    keepfun  
       2024-03-21 18:11:30 +08:00 via iPhone
    现在好多都是渲染出来的 curl 抓取早都过时了
    yolee599
        14
    yolee599  
       2024-03-21 18:13:53 +08:00
    Firefox:
    浏览器打开 -> 按 F12 -> 选择“网络” -> 刷新 -> 选中一个请求 -> 右键 -> 复制值 -> 复制为 cURL 命令 -> 终端粘贴测试
    yanw
        15
    yanw  
       2024-03-21 18:19:47 +08:00
    1. 针对 agent ip 被 block 了
    2. 页面是 js 渲染的
    AJ1if4
        16
    AJ1if4  
       2024-03-21 18:29:35 +08:00
    gamexg
        17
    gamexg  
       2024-03-21 19:05:11 +08:00
    @yolee599 #14 楼主, chrome 也支持这个功能
    iminto
        18
    iminto  
       2024-03-21 19:51:35 +08:00 via Android
    这不很正常吗。

    UA 不一样,curl 也无法渲染页面。。

    还有终极杀器,指纹不一样
    ColoThor
        19
    ColoThor  
       2024-03-22 09:14:22 +08:00
    需要 js 渲染,没浏览器环境就不行了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1025 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 22:54 PVG 06:54 LAX 14:54 JFK 17:54
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86