恩- -,想搞一个发行版下载仓库 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Xuanwo
V2EX    分享创造

恩- -,想搞一个发行版下载仓库

  •  
  •   Xuanwo
    Xuanwo 2015-08-27 06:08:12 +08:00 3514 次点击
    这是一个创建于 3727 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前言

    前两天下载某个发行版的时候发现速度慢成狗= =,然后就突然意识到,即使是以现在如此发达的镜像体系,依然会有某些没有照顾到的边边角角。如果我们可以为这个做点什么,也许也是一件很好的事情。

    现状

    几天的捣鼓之下,有了下面这个项目:
    https://github.com/Xuanwo/DistroDownload

    我已经做了一些工作,但是发现这个工作量确实有些大,而且我也确实遇到了很多问题。因此把我的这个想法贴出来,一方面是希望 V 友可以跟我一起完善这个仓库,另一方面是希望 V 友能为我出一些主意。

    目标

    将本库建设为一个覆盖全面的发行版下载仓库,弥补各大镜像站覆盖不全面的缺陷,给一些知名度小但是很有特色的发行版更多机会。

    问题

    如何处理大于 4GB 的 ISO 包?

    非会员的百度云最大只能上传 4GB 以下的镜像,如果冲会员的话,这个并没有经费支持的项目可能难以维系。所以想问问有没有更好的解决方案?

    如何提供直链下载?

    就我目前已知的情况来看,并没有谁可以提供空间足够大的速度足够快的直链方案。尽管目前暂时采用了百度云,但是我还是比较起来可以直接下载的方案。

    以上~

    第 1 条附言    2015-09-07 23:17:19 +08:00
    15 条回复    2015-08-29 14:29:45 +08:00
    binux
        1
    binux  
       2015-08-27 06:52:04 +08:00
    你有没有试过把下载链接扔各种离线,都能秒的
    loggerhead
        2
    loggerhead  
       2015-08-27 07:05:35 +08:00 via iPhone
    mirrors.163.com 上有一些发行版,下载速度还蛮快的,几 MB/秒
    HMSQQbA
        3
    HMSQQbA  
       2015-08-27 08:38:08 +08:00 via Android
    百度云本来就有的。不过一些快速更新的镜像文件名还不变,要注意百度云的文件有无真正更新。
    realpg
        4
    realpg  
    PRO
       2015-08-27 08:50:46 +08:00
    楼主这个东西我早就做了……
    属于默默做贡献的套路……
    本质是我不想让某些比较冷门的东西以后找不到地方下载……
    不过我用了一些黑科技,而且网站从来未公诸于众,是直链,但是黑科技在于欺负了迅雷……主要让迅雷服务器帮我存着了……保证了很多特别小众的东西在迅雷上一直能有源且速度飞快……

    但是我弄的主要不是 LINUX 的发行版,而是一些软件包的各种历史正式版本的文件,各种冷门的小东西都在这个系统里跑着

    因为我这服务器带宽都不要钱,而且有黑科技去刷迅雷服务器,主要就是硬盘空间感人,我这的内部源服务器的磁盘都是 3TB*8 的 RAID5 还有要爆的趋势……
    Xuanwo
        5
    Xuanwo  
    OP
       2015-08-27 10:57:59 +08:00
    @binux 我知道能秒- -,但是我每个文件都要做 MD5+SHA1 校验,所以并不能全都离线
    Xuanwo
        6
    Xuanwo  
    OP
       2015-08-27 10:58:42 +08:00
    @loggerhead 实际上我就是教育网用户- -,自然知道这些镜像有多快。但是还是有好多覆盖不到的地方。。。
    Xuanwo
        7
    Xuanwo  
    OP
       2015-08-27 10:59:26 +08:00
    @HMSQQbA 所以我额外加上了 SHA1 的校验,两个校验都一致的话,再重复的概率应该小很多。。
    Xuanwo
        8
    Xuanwo  
    OP
       2015-08-27 10:59:50 +08:00
    @realpg 仰慕这样的黑科技。。
    realpg
        9
    realpg  
    PRO
       2015-08-27 11:04:01 +08:00
    @Xuanwo
    你也可以研究研究
    我可以给你公布一些细节
    首先,你自己得有一个磁盘容量巨大的服务器
    然后, nginx 自己改改代码,一个 IP 只允许一个连接
    再然后,自己做一个 nginx 的限速模块,对迅雷服务器过来拉资源不限速,其他用户自己下载一个连接限速 5KB/s 保证连接可用性不会死链 但是不让用户从服务器为主获取资源 主要靠迅雷的服务器镜像
    最后,自制黑科技走迅雷协议去刷迅雷服务器计数,让迅雷认为这个资源是很热门的,不断地去刷迅雷服务器防止这个资源从热链、 P2P 加速等渠道被剔除
    missdeer
        10
    missdeer  
       2015-08-27 16:25:16 +08:00
    @realpg 怎么知道是迅雷服务器过来拉资源了呢
    realpg
        11
    realpg  
    PRO
       2015-08-27 16:28:34 +08:00
    @missdeer IP 段 UA 很好识别的 分别做个不限速的规则
    Xuanwo
        12
    Xuanwo  
    OP
       2015-08-28 16:21:51 +08:00
    七牛的许总非常 nice 的提供了开源项目的支持,我到时候跟七牛的市场部门联系看看~
    endoffight
        13
    endoffight  
       2015-08-29 08:36:14 +08:00 via Android
    建议下载地址添加阿里, 163 ,百度已经靠不住了
    Xuanwo
        14
    Xuanwo  
    OP
       2015-08-29 10:28:47 +08:00
    @endoffight 额?添加阿里, 163 是啥意思?。。
    endoffight
        15
    endoffight  
       2015-08-29 14:29:45 +08:00 via Android
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2564 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 44ms UTC 08:04 PVG 16:04 LAX 00:04 JFK 03:04
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86