如何爬取淘宝商品图片 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
shawnleo
V2EX    程序员

如何爬取淘宝商品图片

  •  
  •   shawnleo 2023-06-19 11:24:14 +08:00 3854 次点击
    这是一个创建于 869 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想通过淘宝商品图构建一个数据集,直接用 selenium 爬会被封 ip 吗?大家有啥好办法吗?

    24 条回复    2023-06-20 17:24:09 +08:00
    xieqiqiang00
        1
    xieqiqiang00  
       2023-06-19 11:34:32 +08:00
    不可能的,别想了
    shawnleo
        2
    shawnleo  
    OP
       2023-06-19 12:16:39 +08:00
    我看有说用淘宝客 api 的?
    asmoker
        3
    asmoker  
       2023-06-19 13:26:22 +08:00
    建议咨询梁博
    lhbc
        4
    lhbc  
       2023-06-19 13:39:09 +08:00 via Android   1
    这两个地址有不少高人,经验丰富,可以去找他们问一下

    深圳市坪山区石井街道金田路 200 号
    杭州市余杭区临平镇丘山大街 3 号
    xiqishow
        5
    xiqishow  
       2023-06-19 13:53:43 +08:00
    @lhbc #4 里面的人说话都好听
    lithiumii
        6
    lithiumii  
       2023-06-19 14:07:28 +08:00 via Android
    啥数量级?几百上千 selenium 没啥问题,拿自己真的在用的帐号登录都行
    zictos
        7
    zictos  
       2023-06-19 14:13:57 +08:00
    淘宝联盟 api 应该可以,只要开通了推广的商家应该都可以
    bruce0
        8
    bruce0  
       2023-06-19 14:16:41 +08:00
    就淘宝那反扒, 基本别想了
    caesar
        9
    caesar  
       2023-06-19 14:20:04 +08:00
    现成的电商插件 都有啊 为啥还要自己开发
    vus520
        10
    vus520  
       2023-06-19 14:24:35 +08:00
    如果只是做数据集,不用大面积更新的话,难度不大。解决阿爸的律师团队就行。
    Sh4ww
        11
    Sh4ww  
       2023-06-19 16:46:16 +08:00
    只是采集图片的话,其实淘宝有很多无风控的接口,可以找找看
    opengps
        12
    opengps  
       2023-06-19 16:51:18 +08:00
    电商起家的反扒能力可是第一,你要跟第一较劲,可是个相当难得事情了
    LandCruiser
        13
    LandCruiser  
       2023-06-19 17:11:24 +08:00
    @asmoker 梁博就是爬阿里被告的呀
    shawnleo
        14
    shawnleo  
    OP
       2023-06-19 17:22:33 +08:00
    是否可以通过淘宝客 api 或者淘宝开放平台获取呢?除了淘宝,其他的像小红书或者亚马逊之类的有可行性吗?
    streamrx
        15
    streamrx  
       2023-06-19 20:06:40 +08:00 via iPhone
    别想了
    tw93
        16
    tw93  
       2023-06-19 21:05:08 +08:00
    面向监狱编程?
    akira
        17
    akira  
       2023-06-19 22:22:42 +08:00
    直接买别人采集好的
    MoozLee
        18
    MoozLee  
       2023-06-20 08:57:11 +08:00
    可以的,前提有可用 ip 池。
    按照我们的经验跑列表接口的话,封控严的时候换一个店铺出一次滑块。用详情接口的话,基本可以不用考虑,10 几次出一个滑块吧。
    如果用 rpa 的话,你得有 n 多账号,封控不严,就算出滑块也可以自动划过去。
    最后,希望你们公司有牛逼的法务
    PVXLL
        19
    PVXLL  
       2023-06-20 09:20:04 +08:00 via iPhone
    可能会吃牢饭
    tLbf2p3UC4BM3H1N
        20
    tLbf2p3UC4BM3H1N  
       2023-06-20 10:12:05 +08:00
    吊淘宝正常访问都给你弹验证,你还用脚本去爬他?真送人头啊?
    imnpc
        21
    imnpc  
       2023-06-20 11:21:37 +08:00
    花钱买 API ,有专门的正规的 API ,不要自己尝试采集,正常访问刷新 3 次就有可能让你滑动解锁
    lmw2616
        22
    lmw2616  
       2023-06-20 11:43:38 +08:00
    好单库的开放 api 里面有,几年前用过,不知道现在还能用不,你去看看
    lmw2616
        23
    lmw2616  
       2023-06-20 11:46:00 +08:00
    @lmw2616 淘宝单品详情
    godleon
        24
    godleon  
       2023-06-20 17:24:09 +08:00
    如果你的爬虫还建立在用 webdriver selenium 这种爬虫层面,就先别搞阿里了。
    需要先熟悉别人的反爬规则,然后绕开风控。才能实现你所说的功能
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2976 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 13:03 PVG 21:03 LAX 05:03 JFK 08:03
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86