云上 NAS 存的数据如何同步到 OneDrive? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
通过以下 Referral 链接购买 DigitalOcean 主机,你将可以帮助 V2EX 持续发展
DigitalOcean - SSD Cloud Servers
MrLonely
V2EX    VPS

云上 NAS 存的数据如何同步到 OneDrive?

  •  
  •   MrLonely 2023-03-26 04:16:16 +08:00 1619 次点击
    这是一个建于 1012 天前的主题,其中的信息可能已经有所发展或是发生改变。
    之前搞活动的时候买了个 4T HDD 的 VPS 来当云上 NAS 。下载 PT 到 NAS 里不难,上传到 OneDrive 应该也不难。但实际上现在处处碰壁。

    之前在这里发帖问了要怎么限制 CPU 使用来符合 VPS 商家的 ToC,最后用了 cpulimit 。

    现在 limit 了以后倒是不会用量过高而被停机了,但是我从 PT 上下载到 VPS 里的 2T 视频不知道要怎么搞出来。

    这 2T 视频都是一个种子的资源,想要通过尽量简单的方式把所有视频上传到一个 5T 的 OneDrive 里。

    一开始的方法是通过 docker 部署了一个 firefox ,把文件目录挂载进去,然后通过浏览器窗口进行上传。在关掉 cpulimit 的时候用量会很高。打开之后倒是看起来似乎能正常上传,但是上传一段时间后就会中断,并且报告说无法上传。

    打开 onedrive 能看到部分上传的文件。后续我把文件大概拆为 3 份,每次上传 1/3 也是同样的结果。再拆更多份可能会过于麻烦,也还没去尝试。


    后来我又试了 rclone copy 。因为 cpulimit 的原因,rclone 在 terminal 里的进程一段时间后会 stop ,然后又从后台继续进行。但是这时候 shell 本身是没有 attach 的。也就无从查看实际的进行步骤。

    刚开始的时候通过 top 还能看到 rclone copy 的进程时不时地出现在顶部。但是后来就看不到了。通过网卡速度也能看出这个 rclone 大概率是停掉了。

    所以有什么办法可以让这个上传操作在不违反 CPU 用量的情况下实现呢?
    5 条回复    2023-03-27 10:50:04 +08:00
    ruixue
        1
    ruixue  
       2023-03-26 11:16:35 +08:00
    rclone 都经常 stop ,这 cpu limit 到底是有多狠,给 rclone 限一下速试试,onedrive 的 api 本身也有比较严格的速率限制,跑快了也会经常被服务器拒绝传输,即使是用限制最小的 onedrive 官方客户端,每天上传 900 多 G 后当天也无法继续上传了

    如果还不行,现在能想到的方案就是暂时停止 torrent 客户端,另外开一个允许长时间跑满 cpu 的大流量 vps ,比如 hetzner 的 cloud ,用 scp 、rsync 、webdav 之类的协议把文件拖出来再上传 onedrive
    leaflxh
        2
    leaflxh  
       2023-03-26 11:56:15 +08:00
    在 screen 里执行 rclone copy 会挂吗
    wxxxcxx
        3
    wxxxcxx  
       2023-03-26 15:56:13 +08:00 via Android
    nohup 或者 tmux/screen 运行 rclone 试试
    MrLonely
        4
    MrLonely  
    OP
       2023-03-26 23:05:54 +08:00
    @ruixue onedrive 本身的 limit 我倒是忘记关注了。所以 onedrive 如果用浏览器上传的 limit 是多少呀?用另外的机器的话,其实对我来说这个 4T 的 VM 就意义不大了。本来它就是用来倒腾种子和视频的。再搞个其他的机器我不如直接用那个机器处理了。


    @leaflxh 大概率会,这个不是我的 ssh 断了,而是 ssh 里的 shell 和 rclone copy 这个进程断开了链接。 有点像是 ssh 运行中按 ctrl+c 的效果。


    @wxxxcxx nohup 我觉得可以试一下。

    多谢各位指点。
    ruixue
        5
    ruixue  
       2023-03-27 10:50:04 +08:00
    @MrLonely onedrive 用浏览器上传经常会出现超时,所以也不清楚 limit 到底是多少

    如果有其它网盘比如 google drive 也可以试一试 rclone 上传到这些网盘,最后再用 mover 转移到 onedrive
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2294 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 31ms UTC 02:35 PVG 10:35 LAX 18:35 JFK 21:35
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86