whyorwhynot

刚刚发现 M3 Ultra 512GB 推出了，两台跑 int8 算是最性价比的方案了，可惜就是不支持 fp8

@iX8NEGGn 看官网描述还可以，通过 cbt 驱动实现。

@Jhma 没用过 ABB ，看了下群辉官网谈到的更改块跟踪 (CBT) 技术是利用 VSS 拍摄快照并识别在快照之间更改的块，看这个描述应该是不需要安装驱动的，那么应该是需要扫描比对整个文件判断变更的块，原理貌似和 restic 、veeam 的默认 CBT 机制类似？ veeam 可以安装 Veeam CBT driver ，这个似乎是真的 CBT 实现

@PolarBears 支持 CBT 技术，免费支持 10 台，应该是我想要的，软件包好大

@bczhc linux 上有 elastio-snap 和 Dattobd ，有点太小众了，也不知道稳定性如何。

@Djaron
实际用下来是按照显存最低的那张卡的显存*利用率为实际每张卡使用的显存

@MeePawn666 第一次用 TensorRT-LLM ，运行起来有些复杂啊，convert_checkpoint.py 转换模型设置--tp_size 4 的时候，生成的 4 个 rank*.safetensors 看起来大小是相同的，用 mpirun 简单跑了跑小模型，看到日志里面显示 Rank 0 is using GPU 0 ，Rank 1 is using GPU 1 ，推测显存占用还应该是平均分配啊

@mohumohu zerotier 还可以，之前在固定网络环境下用的也比较多，就是国内跑 udp 流量可能存在 qos 等问题，另外一些临时的外部服务可能不适合 zerotier 直接组成一个局域网，npc 直接一个可执行文件一条命令就通了，挺方便的。

@wwhc 作为用的很多的基础软件，ssh 安全应该有保障。ssh 隧道还可以，但反向隧道时间长了会容易出现映射的端口假死的情况，需要杀进程重新连接