生信专用服务器 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hanh1985
V2EX    服务器

生信专用服务器

  •  
  •   hanh1985 2023-12-25 18:18:17 +08:00 3399 次点击
    这是一个创建于 663 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想问问大家,海外有没有比较便宜的生物信息用的服务器租用呢?

    最近看到一些公众号在推广生物信息服务器租用,一般共享几十核的 CPU 加上几百 G 的内存,一个月数百元,倒是符合一般生物信息的应用了。但是最坑的是网络,不管是 github ,docker 还是 wget 一些海外数据库,速度和乌龟爬一样,尤其像 nf-core 这样重度依赖网络的流程基本就被坑死。

    于是进一步想到,海外有没有类似的面向生物信息的服务器(多核,大内存,上 T 的硬盘存储空间)租用的廉价方案呢?这样困扰就少了一大截了。

    希望了解情况的朋友能分享一下。

    44 条回复    2024-03-22 01:11:35 +08:00
    HTDit
        1
    HTDit  
       2023-12-25 18:34:38 +08:00 via Android
    海外杜甫,去 hostloc 看看
    opengps
        2
    opengps  
       2023-12-25 18:44:51 +08:00
    不要带着具体行业属性,换个关键字去了解:把“生信”替换为“大数据”
    BanShe
        3
    BanShe  
       2023-12-25 19:06:36 +08:00
    hostloc
    dji38838c
        4
    dji38838c  
       2023-12-25 19:13:58 +08:00
    国内搞科研就是又想省钱又想跟上时代
    多花点钱,选择就太多了
    lemonda
        5
    lemonda  
       2023-12-25 19:19:38 +08:00
    Fiberstate
    128G 独立服务器,才 50 美元一个月
    mason961125
        6
    mason961125  
       2023-12-25 19:29:46 +08:00   1
    建议首先考虑合规,生信的数据大概率受跨境数据监管规范约束。
    hertzry
        7
    hertzry  
       2023-12-25 19:56:25 +08:00
    Github 科学上网,dockr 换源,wget 用 IDM 下载再上传。
    hanh1985
        8
    hanh1985  
    OP
       2023-12-25 21:24:56 +08:00
    @mason961125 其实没有这个问题,现在人遗都不约束粪便或者血液的数据了。而且主要还是海外的下载回来。
    hanh1985
        9
    hanh1985  
    OP
       2023-12-25 21:25:45 +08:00
    @hertzry 是这样的。但是挡不住有的工具集成程度比较高,要挨个改链接非常折腾。
    hanh1985
        10
    hanh1985  
    OP
       2023-12-25 21:30:44 +08:00
    hanh1985
        11
    hanh1985  
    OP
       2023-12-25 21:31:45 +08:00
    @dji38838c 是自己掏腰包搞项目,还是要省着花的 T_T
    hanh1985
        12
    hanh1985  
    OP
       2023-12-25 21:32:06 +08:00
    @HTDit 感谢,我去 hostloc 看看
    hanh1985
        13
    hanh1985  
    OP
       2023-12-25 21:32:26 +08:00
    @BanShe 感谢
    hanh1985
        14
    hanh1985  
    OP
       2023-12-25 21:35:13 +08:00
    @opengps 好的,我会注意。这样搜索后确实还了解到更多相关的信息。
    BanShe
        15
    BanShe  
       2023-12-25 21:43:55 +08:00
    @hanh1985 捡便宜可以看 https://lowendtalk.com
    mason961125
        16
    mason961125  
       2023-12-25 21:50:02 +08:00
    @hanh1985 感觉你这个情况应该不会满载?如果是类似于批处理跑完就结束的话,各大厂的云按量计费其实挺划算的。
    hanh1985
        17
    hanh1985  
    OP
       2023-12-25 22:11:57 +08:00
    @mason961125 没有跑程序的时候不会满载。 但是一旦跑就需要多 CPU 和大内存。这种配置的机器以前云厂商不见得说有就有,不知道现在怎样了。要是跑的东西一多可能费用就蹭蹭蹭上来了。

    当然现在的主要问题是网络,所以要是有台海外的机器会比较好。
    hanh1985
        18
    hanh1985  
    OP
       2023-12-25 22:20:31 +08:00
    简单做了一下功课,和大家分享一下。这个可能的范畴是高性能 CPU 或者游戏服务器的独立服务器。在 VPS 主机的网站里面找“独服”,可以看到不少相关的信息。
    chihiro2014
        19
    chihiro2014  
       2023-12-25 22:27:53 +08:00
    hetnzer ?这个便宜。我记得当年租的时候 150 块钱一个月,然后 4c8h 32G 内存 4tb hdd ,1G 带宽共享
    mason961125
        20
    mason961125  
       2023-12-25 23:42:09 +08:00
    @hanh1985 噢,我前面脑子抽了打错字了,我的意思是你应该不会持续跑满一个月吧,如果是间歇性的负载其实按量很划算。
    lemonda
        21
    lemonda  
       2023-12-26 03:35:47 +08:00
    @hanh1985
    https://lowendtalk.com/discussion/190499/b-l-a-c-k-i-s-h-f-r-i-d-a-y-s-a-l-e-fiberstate-mega-sale-giveaways-kaboom
    120 美元可以买到 7950x 了。
    50 美元买到的 5700g 回帖可以内存翻倍。
    sNullp
        22
    sNullp  
       2023-12-26 04:12:41 +08:00
    Up to 96G 内存 16 核,10T+硬盘,有兴趣联系我 用户名 @gmail
    SuperXX
        23
    SuperXX  
       2023-12-26 07:38:04 +08:00 via iPhone
    搞科研要? 学校没有 HPC 吗? 确实没有可以考虑 Google Cloud , 也可以申请 Credits 用于科研,AWS 也有类似的项目
    sunamask
        24
    sunamask  
       2023-12-26 08:53:17 +08:00
    理论上 nf-core 只在第一次运行的时候,对 github 的一些域名有要求,比如 raw.githubusercontent.com ,而且一般是企业用户的 config 文件、测试数据啥的。

    你可以排查一下,把所有这类情况单独修改到本地就 OK 了(下载测试数据/数据库 reference/config 到本地,修改 config 文件里测试数据的路径啥的),这类文件一般不会随着版本更新有改动。
    sunamask
        25
    sunamask  
       2023-12-26 08:55:43 +08:00
    或者你可以试用一下 nf tower ? Community edition 不花钱。
    PhoneGor
        26
    PhoneGor  
       2023-12-26 09:23:10 +08:00 via iPhone
    @sunamask 说得没错,先把 igenome 、数据库下载,然后修改 config 文件即可
    hanh1985
        27
    hanh1985  
    OP
       2023-12-26 09:26:26 +08:00
    @lemonda fiberstate 好像没有库存了。
    hanh1985
        28
    hanh1985  
    OP
       2023-12-26 09:30:11 +08:00
    @SuperXX 自己搞点项目,实践一些简单的想法。老有医院或者外面的人找,也可以把这些资源盘活起来。不想去蹭单位的资源,免得麻烦。云的那套也弄过,补助几年前也搞过。配置好了,成本也不低,现在就是想搞台单独的服务器,替代家里的工作站来用。
    hanh1985
        29
    hanh1985  
    OP
       2023-12-26 09:35:38 +08:00
    @sunamask nextflow 也提供 offline 的方式,这样我可以在支持外网的环境下下载好需要的组件,然后传到一台便宜的服务器上去。

    nf-core 只是个例子,我使用 R 编程的时候,常常还碰到要安装个库,然后就是连接超时。最近恰好碰到原来的服务器硬盘坏了,需要迁移所有的镜像和环境(屋里原来还有软路由)。如果加一点点钱可以避免这些麻烦,可以节省大量的时间。
    ushio
        30
    ushio  
       2023-12-26 09:37:30 +08:00
    要大内存和多核可以去看看 Hetzner ,几十欧到两三百欧都有很多选择,像云筏这样的生信云创业公司初期都是买 Hetzner 分割成 VPS 卖
    hanh1985
        31
    hanh1985  
    OP
       2023-12-26 11:29:00 +08:00
    @ushio 好,谢谢推荐。
    sunamask
        32
    sunamask  
       2023-12-26 12:37:00 +08:00
    @hanh1985 #29 第一次碰到技术栈这么贴近的同行,泪目。

    R 的话可以用 TUNA+renv 来管理环境,也可以做成容器,我的 R dev 环境就是和 Rstudio server 一起放在容器里的。

    我是想说网络问题都有解决方案的,可以具体问题具体分析。
    hanh1985
        33
    hanh1985  
    OP
       2023-12-26 15:31:52 +08:00
    fiberstate 没货。我在 dedioutlet 上找了一台,2x E5-2680V2 (20 核 40 线程), 96GB 内存,240GB SSD + 1T HDD, 64 美元一个月。用国内的双币信用卡付的账单。网上评价说与国内的通讯速度慢,但是我主要是在上面搭流程,做开发和分析,下载海外网站的速度快就可以。先用着看看,以后有更合适的再换。
    hanh1985
        34
    hanh1985  
    OP
       2023-12-26 16:30:24 +08:00
    @sunamask 后面可以多多交流。最近还在琢磨,针对细分领域的网络优化,数据代下等后续能不能做成业务。
    lemonda
        35
    lemonda  
       2023-12-26 17:20:43 +08:00
    @hanh1985
    哈,需要盯一下,刚取消了几台。
    LET 里大概需要什么配置,可以发 request ,商家看到会给报价,有时候比公开的 offer 好很多。
    hanh1985
        36
    div class="sep3"> hanh1985  
    OP
       2023-12-26 17:27:06 +08:00
    @lemonda 好的,学习了。
    SuperXX
        37
    SuperXX  
       2023-12-27 00:15:22 +08:00 via iPhone
    @hanh1985 那我推荐自己撸台二手服务器吧, 可以看看 EBay 上的准系统,比如 T7920 双路直接插满吧
    SuperXX
        38
    SuperXX  
       2023-12-27 00:17:18 +08:00 via iPhone
    T7920 准系统前不久看的价格是 349 , 也可以去 Reddit 上看看 HardwareSwap 或者 Homelabsales
    hanh1985
        39
    hanh1985  
    OP
       2023-12-27 00:38:16 +08:00
    @SuperXX 人在国内。是自己在 ebay 买了之后再托管到海外机房么?没有试过这种方案,不知道怎样。
    sNullp
        40
    sNullp  
       2023-12-31 12:59:55 +08:00
    t/1004783
    sNullp
        41
    sNullp  
       2023-12-31 13:00:11 +08:00
    Rollie
        42
    Rollie  
       2024-03-20 02:31:12 +08:00 via iPhone
    需求量大吗 我可以提供
    hanh1985
        43
    hanh1985  
    OP
       2024-03-21 15:27:00 +08:00 via iPhone
    @131393 还是自用为主
    Rollie
        44
    Rollie  
       2024-03-22 01:11:35 +08:00
    @hanh1985 我有自己托管的服务器一个月 500
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1328 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 17:14 PVG 01:14 LAX 10:14 JFK 13:14
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86