将某美剧网站所有下载链接保存下来了,需要自取 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
jiezhi
V2EX    分享创造

将某美剧网站所有下载链接保存下来了,需要自取

  •  1
     
  •   jiezhi
    Jiezhi 2016-05-10 15:33:30 +08:00 6013 次点击
    这是一个创建于 3492 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在追《疑犯追踪》,发现在美剧网站上一个一个复制链接下载到网盘很是繁琐,索性写了个脚本直接将下载链接以 csv 格式保存下来以便批量下载。

    既然都动手了,那就干脆再将网站上所有美剧的下载链接爬了下来以备不时之需,大概 380 个页面,当然这些只适合追老剧。

    如果有需要可以直接下载我抓下来的:(点击去下载

    脚本也放Github

    16 条回复    2016-05-11 10:30:55 +08:00
    Hansee
        1
    Hansee  
       2016-05-10 15:59:01 +08:00 via iPhone
    Tks!
    slixurd
        2
    slixurd  
       2016-05-10 16:02:52 +08:00
    我都是直接写 js ,然后扔到控制台跑一下
    不过如果有好几季就得手动跑好几次
    copy($($("body").find("a")).map(function(){if(/magnet/.test($(this).attr("href")))return ($(this).attr("href"))}).get().join("\n"))
    jiezhi
        3
    jiezhi  
    OP
       2016-05-10 16:06:34 +08:00
    @slixurd 原理都一样啦,哪怕在网页源码里直接用正则也可以,但每次还得去手写一遍,干脆直接都抓下来再说了(:
    realpg
        4
    realpg  
    PRO
       2016-05-10 16:28:04 +08:00
    为啥我看 POI 之前你不搞这个……
    strwei
        5
    strwei  
       2016-05-10 16:28:39 +08:00
    右键,本页所有磁力链接用迅雷下载
    jiezhi
        6
    jiezhi  
    OP
       2016-05-10 16:30:46 +08:00
    @strwei 我是用妖妖舞网盘看的
    jiezhi
        7
    jiezhi  
    OP
       2016-05-10 16:31:31 +08:00
    @realpg 你要看其他的美剧还有机会的
    mahone3297
        8
    mahone3297  
       2016-05-10 16:38:42 +08:00
    这么说,我之前也写了个。。。这个站是还可以
    https://github.com/mahone3297/hades/tree/master/src/python/scrapy/cn163
    mahone3297
        9
    mahone3297  
       2016-05-10 16:39:50 +08:00
    lz ,你的代码只是一个页面,要爬所有数据,还需要再写个脚本
    jiezhi
        10
    jiezhi  
    OP
       2016-05-10 16:42:51 +08:00
    @mahone3297 我的那个页面应该是网站可追溯的第一篇帖子了,所以抓取完后再递归抓取其下一页即可,该网站没有死链的话。
    4679kun
        11
    4679kun  
       2016-05-10 16:57:11 +08:00 via Android
    一行 shell 命令

    curl -s "http://cn163.net/archives/58/" | sed 's/ /\n/g' | sed 's/>/\n/g' | sed 's/</\n/g' | grep "ed2k" | sed 's/\"//g' | sed 's/href=//g' | sed 's/data-ke-src=http://www.v2ex.com//g' | uniq | grep "HDrip"
    jiezhi
        12
    jiezhi  
    OP
       2016-05-10 17:00:59 +08:00 via iPhone
    @4679kun 你这还得加上对迅雷和磁力链接的支持
    4679kun
        13
    4679kun  
       2016-05-10 17:04:33 +08:00 via Android
    @jiezhi 把命令中的 ed2k 替换成 magnet 不就行了
    gamecreating
        14
    gamecreating  
       2016-05-10 18:00:26 +08:00
    CN163 ...这博客不错
    ziyuan
        15
    ziyuan  
       2016-05-10 21:10:56 +08:00
    CN163 ...这博客不错+1
    MozzieCN
        16
    MozzieCN  
       2016-05-11 10:30:55 +08:00
    CN163 ...这博客不错+1
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     924 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 22:06 PVG 06:06 LAX 14:06 JFK 17:06
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86