做了个小站 Zzo,有几点迷惑,真心请教 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
DomenicCarter
V2EX    程序员

做了个小站 Zzo,有几点迷惑,真心请教

  •  
  •   DomenicCarter 2024-09-30 08:13:40 +08:00 3366 次点击
    这是一个创建于 380 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近做了一个 AI 目录站:Zzo AI Tools Directory ,网址:https://zzo.ai 初步开发完一版,但还存在很多问题,真心请教一下:

    1. 数据库,目前使用的事 CloudFlare 的 D1 数据库,这个数据库有很多局限性(是 SQLite 改版),比如说,没有事务等,想换一个数据库。大家都选用什么数据库,有什么稳定便宜的数据库推荐吗?最好是海外的数据库服务商。(因为应用是部署在CloudFlare 的 Pages 中,边缘节点不固定,国内数据库大概率比较慢或超时);另外:还有个问题:数据库有支持公网的服务商吗?求推荐,感谢。
    2. 全文检索:当前网站还没有检索的功能,目前看了直接 sql 的 like 模糊匹配、ES 全文检索、向量搜索三个方案;其中 like 匹配最简单,但是不够好。ES 好一些,需要计算能力高一点(请教一下:跑这个 ES 具体需要什么配置);向量搜索需要算力最高:embeding 需要算力(或需要 api ,要花钱)、向量数据库也需要较高算力。 请教一下各位大佬,有什么好的方案做全文检索?
    3. KV:当前可能用到 KV 的地方就是每个 Tag 下收录记录的数量,目前这部分功能也没做。这个是不是直接部个 Redis 就行~还有别的穷鬼方案吗?
    4. 看收录网站的流量统计的 api ,这个有推荐吗?我暂时没找到。想给每个详情页里面加个看流量的功能。
    5. 相似推荐:这个有什么好的方案吗?目前想到的是:相同 tag 做推荐、或者向量检索推荐。
    6. 核心竞争力:如果你是用户,最需要的、当前别的网站上没提供的功能是什么?

    列的问题有些多,新手东搞西搞,磕磕碰碰,遇到问题也比较多,注意解决中,求各位大佬赐教,感谢。

    22 条回复    2024-09-30 14:19:28 +08:00
    GG668v26Fd55CP5W
        1
    GG668v26Fd55CP5W  
       2024-09-30 08:28:53 +08:00 via iPhone
    导航站为什么要用事务、全文检索
    流量统计倒是可以加个 upslash 的 redis ,因为 kv 各节点数据同步需要时间。
    DomenicCarter
        2
    DomenicCarter  
    OP
       2024-09-30 08:41:01 +08:00
    @falcon05 事务暂时倒是没有到场景。全文检索有最好,没有也想做个 title 、description 联合的搜索功能。感谢推荐,我去看看 upslash 的 redis
    june4
        3
    june4  
       2024-09-30 09:02:51 +08:00
    就导航站这几条数据量,搞什么 es ,直接把全部文本放在内存中用编程语言内置搜索都行
    DomenicCarter
        4
    DomenicCarter  
    OP
       2024-09-30 09:06:46 +08:00
    @june4 目前是多语言,收录一个站,就有 9 条数据产生,慢慢可能会多,应用是在 cf 的边缘节点,好像有算力限制,怕这个方案后续会超时。
    abersheeran
        5
    abersheeran  
       2024-09-30 09:24:48 +08:00
    数据库可以换成 mongodb ,存储 500MB 以下免费,这样你的存储、文本搜索、向量搜索都可以解决了。Tag 收录数量直接聚合。流量统计换 Cloudflare analytics ,每个月千万次以下免费。等你这个站过了免费额度,你应该发财了。
    FlashEcho
        6
    FlashEcho  
       2024-09-30 09:27:54 +08:00
    这个里面解释了 cloudflare d1 为什么不支持事务( https://blog.cloudflare.com/whats-new-with-d1/),也许你可以用 durable objects 自己在软件层面做一个“事务”

    或者直接换数据库服务商,比如 Supabase ,neon ,这些都有公网服务,cloudflare d1 这种只能在内网用的反而是少数

    kv 可以用 cloudflare 的 kv 吗?我没试过,但是你都用 cf 了,索性用全家桶算了
    DomenicCarter
        7
    DomenicCarter  
    OP
       2024-09-30 09:33:36 +08:00
    @abersheeran 感谢建议,你说的这个 500M 下免费,这是什么平台吗?
    DomenicCarter
        8
    DomenicCarter  
    OP
       2024-09-30 09:36:32 +08:00
    @chesha1 感谢回复,你说的 durable objects 我研究了,我用的 Cloudflare Pages 托管,不是 Worker ,我研究了 2 天,没搞明白怎么在 Pages 中使用 durable objects 。可能太菜了吧。嗯嗯,感谢推荐,我看下 Supabase 和 neon 。CF 的 KV 我倒是还没试用呢,回头试试。现在主要是不想和 CF 搞得太紧密了,想其他技术尽量通用些,万一后续需要自部署,也好切换。
    FlashEcho
        9
    FlashEcho  
       2024-09-30 09:59:10 +08:00
    @DomenicCarter #8 supabase, neon 只是我举的例子,其实还有很多选择,你可以去 free-for.dev/ 上看 Managed Data Services ,找关系数据库和 kv 的服务商

    不过这些太多了,要是觉得挑选太麻烦,你可以去 drizzle 的文档( https://orm.drizzle.team/docs/get-started-postgresql ),在 Get started 这部分里,postgresql ,mysql ,sqlite 的部分文档的最开始,会列出几个常用的数据库服务,这些能被 orm 框架提到,那肯定是比较流行的
    DomenicCarter
        10
    DomenicCarter  
    OP
       2024-09-30 10:10:43 +08:00
    @chesha1 感谢感谢,我去看看~
    abersheeran
        11
    abersheeran  
       2024-09-30 10:18:01 +08:00
    @DomenicCarter #7 mongodb cloud ,他们自己做的云服务,我在用,体验还不错。
    iceprosurface
        12
    iceprosurface  
       2024-09-30 10:18:38 +08:00
    关系型数据库的话可以考虑 tidb cloud ,查询量不大的话应该也够用
    karnaugh
        13
    karnaugh  
       2024-09-30 10:40:04 +08:00
    首先事物应该是用不上的,那就不用考虑

    然后关键词检索直接 like 就够了,还犯不上用 es ,等你真到卡的那一天再换也来的及

    向量搜索主要是语义化搜索效果,相比之下,深入到应用场景,也许只用向量检索也可以,因为用户并不知道要搜索什么具体的词,只是知道要搜一些功能的网站

    最后,我觉得你少折腾点技术,多好好想想产品吧,作为一个用户,真的需要在详情页看这个网站有多少流量吗?

    可以看看 app 应用市场,看看应用市场的详情页里到底放了啥
    DomenicCarter
        14
    DomenicCarter  
    OP
       2024-09-30 11:17:00 +08:00
    @abersheeran 好的好的,感谢推荐
    DomenicCarter
        15
    DomenicCarter  
    OP
       2024-09-30 11:17:16 +08:00
    @iceprosurface 好的,我去看看~谢谢
    DomenicCarter
        16
    DomenicCarter  
    OP
       2024-09-30 11:18:06 +08:00
    @karnaugh 感谢卡诺大佬,说的很对,但技术人就是一不小心就想着搞技术,哎,这点得改。
    karnaugh
        17
    karnaugh  
       2024-09-30 11:46:38 +08:00
    @DomenicCarter 嗯,人生苦短,单打独斗的时候更是如此,程序员花太多时间在开发上,如果是出于兴趣那无可厚非,但如果你是为了赚钱的话,这么搞就不行

    (比如本来我也打算弄导航站,ai 域名都买了,真贵,结果因为兴趣做了两个月游戏伤害计算机,分币不赚,就是玩
    tf141
        18
    tf141  
       2024-09-30 12:06:39 +08:00
    3 字母 AI 域名不便宜吧,我也想买一个 AI 域名,可以推荐一下在哪买吗?
    gongquanlin
        19
    gongquanlin  
       2024-09-30 13:59:05 +08:00
    搜索可以用 zincsearch ,速度还可以,部署也简单轻量,替代 es
    DomenicCarter
        20
    DomenicCarter  
    OP
       2024-09-30 14:16:17 +08:00
    @karnaugh 嗯嗯,大佬看的明白~确实是这样,更何况自己单打独斗的,同时搞不了那么多东西~
    DomenicCarter
        21
    DomenicCarter  
    OP
       2024-09-30 14:19:03 +08:00
    @tf141 不便宜,我是在 namecheap.com 里买的,差不多 1000 多一点两年。ai 域名有个好处:不溢价,几个字母的都一样~
    DomenicCarter
        22
    DomenicCarter  
    OP
       2024-09-30 14:19:28 +08:00
    @gongquanlin 谢谢,我去看一下~
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5790 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 03:06 PVG 11:06 LAX 20:06 JFK 23:06
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86