部署了一个 Llama3 [8B 和 70B] 欢迎来尝试

能问问是部署在哪里的吗？

用的是啥框架啊？

groq 应该是目前最快的服务，定制芯片

llama3 不微调的话还老是回复英语，即使强制 prompts 中文也老是忘记。等个微调中文的。

楼主审批通过了？UI 是 Llama3 自带的吗？

@cwcc 同感，本地跑个 8b ，感觉总是记不住中文

ollama 吧

70b 用的什么配置的机器 ?

翻译方面 80b 够用了

8b ，不是 80b 。而且效果不错
@gongquanlin

测试了一下，好像比 3.5 略微聪明。8B 的话大概要多少显存？

我也部署了一个, 在 3060 6G , 跑得很慢

@gongquanlin #10 我试过之后，llama3 不管是 8b 还是 70b ，加上一些限定条件，翻译就完全崩了。
中文翻译只能返回一些标点符号

llama 的中文语料太少了，中文还是等微调吧

@cwcc 用这个：Always response in Chinese, not English.

@goodryb
@renmu 中文微调版： https://huggingface.co/UnicomLLM/Unichat-llama3-Chinese-8B

由中国联通 AI 创新中心发布业界第一个 llama3 中文指令微调模型（全参数微调），2024 年 4 月 19 日 22 点上传

@qloog 看反馈似乎只是微调效果不是很好，看联通回复说可能二次训练，在等等吧

用这个方法 不需要微调 https://mp.weixin.qq.com/s/EonqaZIKvT7vd9Yavp4tAw

部署了 llama-8b ，P40 大概占了 16G 显存，感觉英文交流的效果比中文交流好很多，也试了第三方的中文微调模型，效果还是不尽人意。不过速度比较快，效果相比于 Qwen1.5-7b 的效果要好。

有大神有网盘链接嘛，不知道为什么申请下来的网址运行 download.sh 时，选择完要下载的模型后就报错：Forbiden...

@codingBug 部署在 AutoDL 上了

@blackwhites1977 后端 Ollama, 前端 OpenWebui

@zackzergzeng UI 是 OpenWebUI, 审批没有，体验玩玩

@NikoXu 48G 的卡

@craiiz 一方面这个好像需要开代理，另一方面这个好像提提示没权限之后就要申请新的链接

@craiiz 可以试试这个 https://www.codewithgpu.com/m/Meta-Llama ，Meta Llama3 8B 和 8B Instruct 权重

@xingfukuaile 好的，感谢

@xingfukuaile 不清楚，llama2 的时候是可以很顺利地下载的，llama3 不知道为什么就不行。不知道是不是因为我地区选了 HK 。

@moyuge 试了下刚开始还正常，第二个问题就开始中英混合了

>>> 红烧肉怎么做
红烧肉是一道非常经典的中国菜肴，以下是它的做法：

**材料**

* 500g Pork Belly or Pork Ribs
* 2 tablespoons Soy Sauce
* 1 tablespoon Red Cooking Wine (or substitute with Red Vinegar)
* 1 tablespoon Sugar
* 2 cloves Garlic, minced
* 2 tablespoons Ginger, sliced
* 1 cup Chicken Broth
* 1 tablespoon Cornstarch
* Salt and Pepper, to taste
* Scallions, chopped (optional)

**做法**

1. **准备材料**：将猪肉洗净，切成小块备用。
2. **热油锅**：在大锅里加两三勺油，让它烧开。
3. **下料**：将切好的猪肉下入油锅，不断翻动，使得猪肉表面均匀地着油。
4. **添加调味料**：加入 Soy Sauce, Red Cooking Wine, Sugar, Garlic, Ginger ，和 Chicken Broth ，继续翻动使其充分混合。
5. **制卤**：将 Cornstarch 和水混合成浓缩液，然后加入锅中，继续煮约 30 分钟，使得卤变得很 Thick 和 Rich 。
6. **seasoning**：加盐和胡椒粉调味，使其适合自己的口味。
7. **装盘**：将红烧肉装在碟子里，洒上一些 Scallions ，如果需要。

** Tips**：

* 用高脂肪的猪肉来做红烧肉可以使得卤更加丰富和 tender 。
* 在下料时不要让猪肉表面太干，因为这会导致最后的卤不够 Thick 。
* 可以根据自己喜欢的程度增加或减少糖的量。

**Tips**

* 使用高脂肪猪肉可以使得卤更加丰富和 tender 。
* 下料时不要让猪肉表面太干，这样可以确保最后的卤够 Thick 。
* 可以根据自己的口味增加或减少糖的量。

@xingfukuaile #23 那在哪拿的代码？我申请了还没通过

@haiku 另外用了 IMartialBE/one-api 这个做网关

@zackzergzeng 我使用 ollama.com 部署的

@moyuge 可以简单说下怎么弄吗，新建一个 Modelfile 文件，内容编辑好复制进入， 运行出错啊

@zsxzy 你这个 3060 6G 能跑 gamma2：9b 么 以及 qwen2：7b 前者 我一调用 api ，就 500 错误，后者用着用着就 500 ，勉强能用。