500G 的显存为啥会无法完全加载 370G ？推理框架现在的事实标准应该都是 vllm 吧，试下 vllm 吧

@unidotnet 14b 即使是 fp16 也只是大概 28G 左右，int4 怎么可能要 40G

感觉框架倒是其次的吧，主要还是算力和一些推理优化技术吧

@geelaw 感谢

@geelaw 感谢，这个标准的定义可以在哪看？

@ysc3839 嗯嗯，我也找到了，感谢

If lock is called by a thread that already owns the mutex, the behavior is undefined: for example, the program may deadlock. An implementation that can detect the invalid usage is encouraged to throw a std::system_error with error condition resource_deadlock_would_occur instead of deadlocking.

If the mutex is currently locked by the same thread calling this function, it produces a deadlock (with undefined behavior).

是个 undefined behavior ，不能这样使用，结贴


Reference:
https://en.cppreference.com/w/cpp/thread/mutex/lock
https://cplusplus.com/reference/mutex/mutex/lock/

@iwdmb
(base) root@ubuntu:/home# ./a.out
n = 5
n = 4
n = 3
n = 2
n = 1
n = 0
(base) root@ubuntu:/home# g++ --version
g++ (Ubuntu 7.5.0-3ubuntu1~18.04) 7.5.0
Copyright (C) 2017 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

以上是我的执行结果，没搞懂是哪的问题

补充：CmakeLists.txt 里面没有添加任何编译选项，cmake 版本是 3.18 ， 用的 c++ 17

感觉和 YY 没啥区别啊。。

手持 xm3，昨天刚去看了 airpods max，xm3 压耳朵，戴久了耳朵会很难受，airpods max 戴着还是比较舒适的，降噪感觉两者差不多，之前有试过 bose qc35 Ⅱ，戴着比 xm3 舒服，但是降噪效果没 xm3 好。xm3 设备切换不是很方便，你需要手动把一个设备断联之后再去连新的设备，但是如果只是和 iPhone 一个设备连的话，感觉还不错，不存在什么断联什么的，但是还是要说，戴久了压耳朵很难受。airpods max 应该是和 airpods 一样的，设备切换会比较顺滑。如果预算足的话建议上 airpods max，预算不够的且追求降噪那就 xm3 吧，预算不够追求头戴舒适的那就上 bose 。

如果只是单纯搭博客的话，可以试试 coding.net 的持续部署免费的，而且如果选香港的节点还不用备案

有朋友查了美团内部相关的问题日志（美团任何问题 bug 无论大小都会在内部复盘），根本没有配送费与地址缓存相关的信息，缓存只是一个借口而已，应该就是杀熟，而且应该还不只是存在于美团外卖，美团的共享单车也是，不同用户开月卡的费用也是不一样的。

有道词典的划词功能挺好用的，可以直接鼠标查不认识的单词，读 paper 的效率也提高了。
捷径就是多读，完完整整读完几篇之后应该就不会怎么抵触了。
读 paper 看你的目的是什么，如果只是粗略的看，那就是看介绍，实验和结论，需要精读那就是详细地每一个部分。

那么我就当个分子把