想做一个极简的看电影打卡小程序,怎么爬取豆瓣信息才不违法?? - V2EX
请不要在回答技术问题时复制粘贴 AI 生成的内容
gaigechunfeng

想做一个极简的看电影打卡小程序,怎么爬取豆瓣信息才不违法??

  •  
  •   gaigechunfeng Dec 19, 2022 5018 views
    This topic created in 1239 days ago, the information mentioned may be changed or developed.

    ###我想做一个极简的,只是看电影打卡的小程序,目前程序差不多完成 80%,但是一边写一边自我怀疑,爬取豆瓣的信息到底怎么才不违规?和 V 友们讨论一下:

    1. 爬取的标题、介绍、片名等都不在 robot 协议限制当中,这个应该是合规的吧?

    2. 封面、剧照等图片文件的地址被 robot 协议限制,我如果直接用豆瓣地址显示算违规吗?

    3. 我把豆瓣图片 download 下来,上传到自己的 oss 上面算违规吗?

    4. 如果违规了,但是我这么小的小程序,会被追究吗?

    5. 结合 234 ,如果我只爬 robot 协议限制之外的文字信息,图片什么的使用鼠标人工下载图片,再上传到 oss 上(其实这样和爬虫作用一样,但是我在小程序上声明,所有图片都是人工手动保存并上传的,这样违规吗?)

    6. IMDB 上也不行,而且限制比豆瓣还多。

    最后一点,如果怎么都绕不过去,我只爬取 robots 协议里面开放的文字信息,这个肯定没问题吧???

    希望大家批评指正。

    17 replies    2026-04-21 09:59:52 +08:00
    preach
        1
    preach  
       Dec 19, 2022   1
    以上问题在你用户量低于 100w 的时候都不是问题,当你有 100w 用户的时候自然能解决,所以放手干吧。
    zxCoder
        2
    zxCoder  
       Dec 19, 2022
    借楼提问,那如果我用豆瓣的图片,喂给 AI ,“画”出一张类似的图,违规吗 hhh
    ruanimal
        3
    ruanimal  
       Dec 19, 2022
    https://www.doubanapi.com/. 这个是官方提供的吗
    gaigechunfeng
        4
    gaigechunfeng  
    OP
       Dec 19, 2022
    @ruanimal 我靠,官方都有啊。 确实很容易就能爬取到。
    但是官方这里的图片地址:"http://img6.douban.com/view/photo/cover/public/p1642354684.jpg",
    在 robots.txt 里面被 ban 了啊。
    官方: 我犯法我自己?
    Orciorc
        5
    Orciorc  
       Dec 19, 2022 via Android
    @gaigechunfeng robot.txt 只是君子协定,真违反了也得看官方的态度,总不会我告我自己吧
    rekulas
        6
    rekulas  
       Dec 19, 2022
    doubanapi.com 这看起来可不像官方的,小心别被碰瓷了
    gniviliving
        7
    gniviliving  
       Dec 20, 2022
    @rekulas 这明显不是官方的,没 https ,还留个 github 地址
    vZexc0m
        8
    vZexc0m  
       Dec 20, 2022
    和豆瓣谈商业合作,获得授权就行了。
    CS50
        9
    CS50  
       Dec 20, 2022
    nekoneko
        10
    nekoneko  
       Dec 20, 2022
    给豆瓣交钱, 或者给豆瓣画饼, 让他们投资你
    safari9
        11
    safari9  
       Dec 20, 2022
    @luolw1998 机智,lz 搞几个类似的网站得了不一定非要去爬豆瓣的毕竟豆瓣也不全。图和介绍都可以从 imdb moviedb tvdb 这几个网站搞不一定非要豆瓣。
    fengyueheng
        12
    fengyueheng  
       Jan 26, 2023
    楼主小程序做好了吗
    gaigechunfeng
        13
    gaigechunfeng  
    OP
       Jan 29, 2023
    @fengyueheng 哈哈,多谢兄弟问了一句。正在做,没停。 做好了,我 at 你试用。
    服务端用的 flask ,小程序用的 uniapp ,代码都好说。设计这块我着实有点头疼,想法太多太乱不知道该怎么设计。
    13936
        14
    13936  
       Apr 20, 2023
    现在写小程序还能赚钱吗
    gaigechunfeng
        15
    gaigechunfeng  
    OP
       Apr 20, 2023
    @13936 除了接点外包赚点人工钱。 其它都不赚钱。 我这个是个人爱好。 :D
    TheWire2
        16
    TheWire2  
       Apr 18
    @gaigechunfeng 楼主小程序做好了吗?我最近也在做这个类似的,现在卡在获取影视的封面上,我是直接调用 tmdb 的接口,不过国内访问 tmdb 经常抽风,下载不了封面,导致经常获取封面超时。用爬虫担心有风险,准备做个 tmdb 代理来获取影视封面,不知道楼主有没有好的想法
    gaigechunfeng
        17
    gaigechunfeng  
    OP
       Apr 21
    @TheWire2 哈哈,做好了。但是没上线,也没用。你可以加我 wx xiaohuopao555
    About     Help     Advertise     Blog     API     FAQ     Solana     981 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 50ms UTC 21:56 PVG 05:56 LAX 14:56 JFK 17:56
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86