[开源] 用 Gemini 开发的小项目开源啦 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
jjyyryxdxhpyy
V2EX    分享创造

[开源] 用 Gemini 开发的小项目开源啦

  •  
  • jjyyryxdxhpyy
    liu-ziting 2024-01-09 10:37:56 +08:00 4351 次点击
  • 这是一个创建于 648 天前的主题,其中的信息可能已经有所发展或是发生改变。

    简介

    [我知道你的宠物在想什么] 是一个基于 Gemini Pro API 构建的图片识别项目,通过上传你宠物的照片,该项目能够智能分析你的宠物的表情和环境,并推测出它们可能在想些什么。

    功能特点

    • 图片识别:利用 Gemini-pro-vision 的图像识别技术,能够准确地识别宠物的表情和环境。
    • 表情分析:通过分析宠物的表情 Gemini-pro-vision 可以推测出宠物可能的情绪状态,如开心、惊讶、困惑等。
    • 环境分析:Gemini-pro-vision 还能根据宠物所处的环境,推测出它们可能的活动场景,如户外玩耍、室内休息等。
    • 自然语言处理:结合图像识别和自然语言处理技术,Gemini-pro-vision 可以将宠物的情绪和活动场景转化为可读性高的文字描述。
    • 用户友好界面:提供简洁直观的用户界面,使用户能够轻松上传照片并获取宠物分析结果。

    注意事项

    请确保上传的照片清晰可见,以获得更准确的分析结果。 本项目仅适用于识别和分析常见宠物如猫、狗等,对于其他动物可能不具有准确性。 这是一款有趣实用的图片识别项目,让你更深入地了解你的宠物的情绪和喜好。无论是为了更好地照顾宠物,还是与朋友们分享宠物的趣事,这个网站都能为你带来愉悦的使用体验。

    开源地址

    https://github.com/liu-ziting/PetThoughts

    可以 Fork ,改一下 Prompt 就可以是一个新应用,我改了三个,提示词分别是:

    • 你是一位熟练的宠物语言翻译员,根据用户传的照片,你识别出是什么宠物,准确猜测宠物的情绪和想法,你可以根据宠物的肢体语言、表情、周围环境猜测宠物想说什么。翻译完后,请根据宠物的语气给出宠物的“声音”,口语自然一点,用中文回答,格式如下::<这是什么宠物><宠物的想法>。用户上传的图片中,如果没有宠物,则返回“图片中没有宠物~""

    • 作为一位熟练的儿童心理翻译员,我可以根据用户提供的照片来识别孩子的情绪和想法,并根据他们的肢体语言、表情和周围环境推测他们想说的话。以下是修改后的回答格式:如果图片中没有孩子::图片中没有孩子~,如果有孩子的话,我将以孩子的视角回答::<孩子的情绪>,<孩子的想法>

    • 根据用户上传的照片,你需要识别出题目,按照顺序返回我正确答案就可以,如果上传的照片中没有题目,则返回“图片中没有题目~”。

    希望点点喜欢有用的可以点下 Star ,这对我很重要~

    30 条回复    2024-02-29 14:58:37 +08:00
    wonderfulcxm
        1
    wonderfulcxm  
       2024-01-09 10:39:58 +08:00 via iPhone
    这个说是看图说话的应用吗
    wonderfulcxm
        2
    wonderfulcxm  
       2024-01-09 10:40:55 +08:00 via iPhone
    不错,可以智能生成方案发朋友圈
    jjyyryxdxhpyy
        3
    jjyyryxdxhpyy  
    OP
       2024-01-09 10:42:03 +08:00
    @wonderfulcxm 这个想法可以的,改一下提示词就行了
    ming61177
        4
    ming61177  
       2024-01-09 11:16:17 +08:00   3
    获得了核心代码,嘻嘻。 `你是一位熟练的宠物语言翻译员,根据用户传的照片,你识别出是什么宠物,准确猜测宠物的情绪和想法,你可以根据宠物的肢体语言、表情、周围环境猜测宠物想说什么。翻译完后,请根据宠物的语气给出宠物的“声音”,口语自然一点,用中文回答,格式如下::<这是什么宠物><宠物的想法>。用户上传的图片中,如果没有宠物,则返回“图片中没有宠物~""`
    hanssx
        5
    hanssx  
       2024-01-09 14:23:27 +08:00
    完了,以后要面向 rompt 编程了
    fffflyfish
        6
    fffflyfish  
       2024-01-09 14:37:58 +08:00
    牛哇,开源了,之前我还把应用分享给小伙伴
    wangyaominde
        7
    wangyaominde  
       2024-01-09 14:45:27 +08:00
    突然感觉弄个小程序会火,up 可以试下
    monerujos123
        8
    monerujos123  
       2024-01-09 14:46:42 +08:00
    赞啊!
    monerujos123
        9
    monerujos123  
       2024-01-09 14:52:57 +08:00
    不过看了下,现在 API 免费的条件是:
    Input/output data used to improve our products

    Yes

    所以是会收集和使用输入的。
    gonglexin
        10
    gonglexin  
       2024-01-09 14:54:18 +08:00
    刚做了一个仿 Instagram 的 Elixir 项目: https://ex-instagram.fly.dev/ ,也是用到了 Gemini 也开源: https://github.com/gonglexin/ex_instagram
    jjyyryxdxhpyy
        11
    jjyyryxdxhpyy  
    OP
       2024-01-09 14:57:18 +08:00
    @wangyaominde 国内小程序不允许,很难搞这种
    jjyyryxdxhpyy
        12
    jjyyryxdxhpyy  
    OP
       2024-01-09 14:58:00 +08:00
    @monerujos123 嗯~我的意思是我程序不收集,API 是会,我加个提示,感谢提醒
    jjyyryxdxhpyy
        13
    jjyyryxdxhpyy  
    OP
       2024-01-09 14:58:37 +08:00
    @gonglexin 可以,给你 star 了
    jjyyryxdxhpyy
        14
    jjyyryxdxhpyy  
    OP
       2024-01-09 14:59:16 +08:00
    @fffflyfish 感谢分享
    jjyyryxdxhpyy
        15
    jjyyryxdxhpyy  
    OP
       2024-01-09 14:59:27 +08:00
    @hanssx 是这样的,这是个方向
    wangyaominde
        16
    wangyaominde  
       2024-01-09 15:02:14 +08:00
    @jjyyryxdxhpyy 好吧,我以为只有解析没有生成就不会有政策上的风险
    guogb
        17
    guogb  
       2024-01-09 15:04:49 +08:00
    @hanssx 哈哈哈哈
    jjyyryxdxhpyy
        18
    jjyyryxdxhpyy  
    OP
       2024-01-09 17:20:56 +08:00
    @ming61177 这个提示词也是 gemini 给我写的,用 AI 去写 AI
    kuber
        19
    kuber  
       2024-01-09 20:19:51 +08:00
    @jjyyryxdxhpyy 不错。如果能创建一个图片发到朋友圈就好了,有自己宠物的人一定会上瘾的。
    没有看到后台是用什么开发的?
    jjyyryxdxhpyy
        20
    jjyyryxdxhpyy  
    OP
       2024-01-10 08:27:18 +08:00
    @kuber node + next
    mhhya
        21
    mhhya  
       2024-01-10 16:06:16 +08:00
    op 麻烦问下 Gemini-pro-vision 使用有 qps 之类的限制吗,还是说能随便用啊
    testliyu
        22
    testliyu  
       2024-01-10 17:37:53 +08:00
    感觉这是很好的商业项目,怎么开源了呢
    jjyyryxdxhpyy
        23
    jjyyryxdxhpyy  
    OP
       2024-01-11 09:15:35 +08:00
    @mhhya 目前是没有,未来不知道
    mhhya
        24
    mhhya  
       2024-01-11 18:50:01 +08:00
    @jjyyryxdxhpyy 好的,感谢
    ReyLouis
        25
    ReyLouis  
       2024-01-12 21:50:33 +08:00
    今天还在 Product Hunt 上看到有个产品叫 what is the cat thinking ,UI 都很像
    xiaoboai
        26
    xiaoboai  
       2024-01-14 10:31:55 +08:00
    感觉挺棒的啊
    viazure
        27
    viazure  
       2024-01-18 09:14:14 +08:00


    哈哈,有点意思
    Rorysky
        28
    Rorysky  
       2024-01-21 23:52:22 +08:00
    star 了挺有意思,自己部署,需要 gemini 的账户么
    jjyyryxdxhpyy
        29
    jjyyryxdxhpyy  
    OP
       2024-01-22 08:31:54 +08:00
    @Rorysky 需要,谷歌账户就行: https://makersuite.google.com/app/apikey
    lijingfu2077
        30
    lijingfu2077  
       2024-02-29 14:58:37 +08:00
    想请教一下,部署到 vercel 上运行没有问题,本地执行 npm run dev 之后上传图片解析,调用请求报错。

    TypeError: fetch failed
    at node:internal/deps/undici/undici:12344:11
    at process.processTicksAndRejections (node:internal/process/task_queues:95:5)
    at async makeRequest (F:\Ekko\AI\pet\node_modules\@google\generative-ai\dist\index.js:195:20)
    at async generateContent (F:\Ekko\pet\betterchoice\node_modules\@google\generative-ai\dist\index.js:525:22)
    at async Array.eval (webpack-internal:///(api)/./pages/api/upload.js:79:24)

    请问能指点下吗
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     889 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 22:20 PVG 06:20 LAX 15:20 JFK 18:20
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86