V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
This topic created in 4488 days ago, the information mentioned may be changed or developed.
U-HACKS有一个加速下载uploaded.to网盘下载的造福服务:
http://u-hacks.net/accountboerse.php
这个是他们完全PHP实现的。
我有ryushare,rapidshare,bitshare,lumfile,freakshare的高级用户,
也想做一个这种加速下载的项目造福大众。
那几个网盘分享的文件没有高级账户完全拖不动,而且一般10$/m略贵。
目前下载过程难度不大,关键是发送。
在获取到一个请求加速的链接以后,我的服务器去拖文件,
怎么能做到边拖文件边发送给用户?
目前最大的问题就是我的下行不一定和用户的下行对等。
采用php+nginx发送在php清空缓冲以后输出到nginx,nginx关了gzip可以直接输出,但是还是会把发送过来的内容放到内存里面,造成内存的堆积。
有没有什么好办法用PHP实现边下边发？
p.s 我没多大的硬盘来做存储 ，只能转发， 为何纠结于PHP实现?我也不知道。
http://u-hacks.net/accountboerse.php
这个是他们完全PHP实现的。
我有ryushare,rapidshare,bitshare,lumfile,freakshare的高级用户,
也想做一个这种加速下载的项目造福大众。
那几个网盘分享的文件没有高级账户完全拖不动,而且一般10$/m略贵。
目前下载过程难度不大,关键是发送。
在获取到一个请求加速的链接以后,我的服务器去拖文件,
怎么能做到边拖文件边发送给用户?
目前最大的问题就是我的下行不一定和用户的下行对等。
采用php+nginx发送在php清空缓冲以后输出到nginx,nginx关了gzip可以直接输出,但是还是会把发送过来的内容放到内存里面,造成内存的堆积。
有没有什么好办法用PHP实现边下边发？
p.s 我没多大的硬盘来做存储 ，只能转发， 为何纠结于PHP实现?我也不知道。
Supplement 1 Dec 18, 2018
现在我有 200T 左右的存储了，破项目 17 年初就有点盈利了，初期 scaleway 转发各种网盘去节约存储成本。
现在无所谓了，二手硬盘二手服务器 R0 扔在 OVH/online 很快乐。
现在无所谓了，二手硬盘二手服务器 R0 扔在 OVH/online 很快乐。
 | 1 Archangel_SDY Jan 15, 2014 又没硬盘又没内存又发不出去，那我觉得你只能下载的时候限速了。 |
 | 2 chsola OP  1 @Archangel_SDY 并不是完全没有内存,我的小服内存只有16G,下载文件堆积多了爆内存内存再大内存也受不了. 下载到硬盘再发送让用户等太慢，我想做到像uhacks那种即时发送 |
| 3 Archangel_SDY Jan 15, 2014 @chsola 那我觉得放内存里也没太大问题，弄个队列控制下任务数吧。 |
 | 4 shiny PRO 试试 sendfile + proxy ？ php 里只要 header 下 http://serverfault.com/questions/425328/send-nginx-x-accel-redirect-request-from-remote-server |
| 5 chsola OP 1 @shiny 关键是我需要实现即时的转发,就像http://u-hacks.net/accountboerse.php这个一样 那种方法无法实现即时的文件转发,需要先下载下来我再发送,我是给下载加速的所以也不需要做反盗链或者下载限制什么的,即时性能最重要。 |
| 7 chsola OP 1 @shiny 主要是proxy比较难以实现 我需要从uploaded.to获取文件 serverfault上的是个下载认证配置吧... 读文件是本地的 我的文件是即时使用curl从远端获取 菊苣有转发一个文件的示范的话跪求 nginx的proxy模块无法设置cookie,所以不能用于下行。 做nginxmod的话工程量太大。 |
 | 9 est Jan 15, 2014 1 |
 | 10 horsley Jan 15, 2014 如果不是像curl下下来那样存储转发的话，我觉得可以用socket的方法，用一个固定大小的小的缓冲区循环read，同时直接输出，这样应该就能少占用内存，直接转发，坏处是断点续传多线程什么的都不支持了 |
 | 12 suriv520 Jan 15, 2014 硬盘也是缓存。缓存是一定得有的。 另外，PHP的模型不适合干这个，别用PHP折腾了…… |
 | 13 dorentus Jan 15, 2014 @feuvan 改 nginx 配置需要 restart/reload nginx 才能生效。 另外楼主说的这个和 nginx 完全没关系吧。想要改 header 或者设 cookie 完全可以在 PHP 里面做（不过这也和楼主的问题没关系）。 |
| 14 chsola OP 1 |
| 15 est Jan 15, 2014 |
 | 16 ovear Jan 15, 2014 - -目前找不到可以读取一部分内容的php api或lib，lz可以找一下，或者用上面所说的 然后每次用完buffer以后，手动的unset试试？ |
 | 17 donwa Jan 15, 2014 如果网盘支持断点续传。 php就可以先下载一部分，传给用户，再下载后续的块继续下载，继续传给用户。 5~6年前好像做过一个php文件来下载大文件的。。。好像是这样的。 |
 | 18 chsola OP 1 @est 有没有什么方法让nginx发送分割了的文件？我现在在考虑用户提交链接，我去扒取两个2m的片段，开始发送，用户接受完成了一个1m的片段后我开始准备下一个1m片段 并且清理已经发送的1m |
| 19 est Jan 15, 2014 @chsola 你的意思是rapidshare本来就是2M一个2M一个的文件，也是多个URL，用户需要点一次就下载完毕，而不需要麻烦人工去挨个点击下载？ 这个其实也好做。限制一个session一个下载任务即可。客户端每5秒检查一次是否可以继续下载另外一个文件。这个也兼容老浏览器。 如果你技术足够牛逼可以在服务器接受同时多个TCP连接，保持cwnd置空无数据，但是不要断掉，然后只给其中一个tcp连接返回数据，一个文件传输完毕就关闭tcp连接开始给第二个tcp连接写数据。。依次类推。 现代浏览器的话，可以模仿mega那种，完全用html5的API实现js可控的下载。甚至可以实现多文件顺序下载。不过前后台架构也比较复杂了。 |
| 20 chsola OP @est 不是，rapid上可能是几g的超大单文件，我利用高级会员可以断点续传，用户下载到了，我再给准备文件，用户不下载或者距离这个点超过1m，我就不准备 |
| 28 donwa Jan 16, 2014 via iPhone 1 |
| 29 est Jan 16, 2014 1 @donwa 断点续传需要客户端浏览器大手术。去看看html5 file blob api 吧。 http://stackoverflow.com/a/20254988/41948 https://mega.co.nz/#blog_1 |
| 30 chsola OP @est 我看了看实际上要是纠结php的话用php打个socket发送就可以了,发送过程是阻断式所以我知道用户确实接受完毕了文件的片段,断点续传用socket实现也是有可能的。 http://www.cnblogs.com/funlake/archive/2012/04/06/2435241.html 已经有打好的可以用了~ |
 | 31 lwd2136 Dec 29, 2016 1 这个最后实现没？ |
Select Language