发现 Vertex API 只能通过 API 的形式使用 Claude , 有没有配套的 python 服务和 UI 壳, 想本地搭一个对话页面

2 xywanghb OP @burndown 这两个我调研了, 好像只支持 google cloud 里面的 gemini 和其他有限的几个, 这几个在 googlecloud 就是支持对话形式的. 但无法用 claude |
3 taotaodaddy Jul 18, 2024 在官方 web claude3.5 的帮助下,用 flask 或者 fastapi 写一个,很快的 |
4 taotaodaddy Jul 18, 2024 写到一半,就可以用 Vertex API 接着完善了 有点自举的感觉,虽然不是严格意义上的 |
5 burndown Jul 18, 2024 @xywanghb 都可以自定义 `ANTHROPIC_BASE_URL` 和 `ANTHROPIC_API_KEY` 对了,你需要这个开源项目 https://github.com/cg-dot/vertexai-cf-workers 在 Cloudflare 上搭一个代理,把对 Anthropic 的访问重定向到 CF 的代理上 |
6 xywanghb OP @taotaodaddy 谢谢, 我看看. 我实现了个方案,改了下 chat next web 源代码 简单适配了一下 |
7 xywanghb OP @burndown 还是很多没直接支持, 可能也是 google cloud 那个认证体系和 API 不适配的原因. 走代理感觉有点复杂, 我自己简单改了下 chat next web 源码 把请求 google 的参数返回值适配了下, 用着还行 |
8 burndown Jul 18, 2024 不可能,至少 lobechat 是支持的,CF 上搭架完后,设置完环境变量后就可以在支持自定义 URL 和 API key 的客户端直接使用。我昨天用的没啥问题 |
9 xywanghb OP @burndown 哥们, 是我的问题,哈哈哈确实可以, 我走的 google 调用 不是 Anthropic , 导致我接了代理请求的入参格式和 vertex ai 不一样,vertex ai api 得走 Anthropic |
10 taotaodaddy Jul 21, 2024 |
11 Baymaxbowen Jul 21, 2024 @burndown #8 老哥请问这个是什么问题导致的 "error": [ { "error": { "code": 400, "message": "Project `837595362612` is not allowed to use Publisher Model `projects/claude-gpt/locations/us-central1/publishers/anthropic/models/claude-3-haiku@20240307`", "status": "FAILED_PRECONDITION" } } ] 已经给了权限了 |
12 xywanghb OP @taotaodaddy 要下载一个 gcloud 命令行工具 |
13 xywanghb OP @xywanghb 然后 gcloud init 一下就可以了 你可以直接运行他那个 python 代码看能不能调通, 然后再接入其他 UI web |
14 taotaodaddy Jul 22, 2024 @xywanghb 我应该就是这么做的,在你发帖之前就可以调用 API 了,并且自己写的 flask 界面 但是我没有 API_KEY,这意味着不能使用其他人写的 WEB UI 后来仔细看了一下 5#说的,https://github.com/cg-dot/vertexai-cf-workers,明白了自定义 API_KEY |
15 burndown Jul 22, 2024 @Baymaxbowen model 不对吧,你看 Vertex 里的 model 是啥,客户端调用的是啥?能对应上吗 |
16 Baymaxbowen Jul 22, 2024 |
17 burndown Jul 22, 2024 @Baymaxbowen 我觉的是 lobechat 检测的时候用的模型写死了,根本没调用你列出来的。所以不用管他 |
18 renate040114 Dec 1, 2025 感谢大佬 |
19 qi12371 Jan 26 老哥,请教一下 vertex ai api 中有 nano banana pro 的调用权限吗? |