做了一个阿里云盘的搜索引擎 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Justin3go
V2EX    分享创造

做了一个阿里云盘的搜索引擎

  •  9
     
  •   Justin3go 2023-09-01 08:25:41 +08:00 12502 次点击
    这是一个创建于 770 天前的主题,其中的信息可能已经有所发展或是发生改变。

    做了一个阿里云盘的搜索引擎,体验地址pan.justin3go.com

    技术细节可以看这两篇文章

    1. 你来你也可以做一个网盘搜索引擎
    2. 浅谈搜索引擎原理

    简化了很多搜索引擎的复杂策略,但也算是一个微型搜索引擎了

    第 1 条附言    2023-09-14 15:50:28 +08:00
    优化了一波搜索建议,就是搜索框的下拉框,以及一些小 BUG 的修复,欢迎各位尝试。
    120 条回复    2024-04-30 10:42:24 +08:00
    1  2  
    ryansvn
        1
    ryansvn  
       2023-09-01 08:44:26 +08:00
    试用一下 ,感谢提供
    opengps
        2
    opengps  
       2023-09-01 08:54:42 +08:00
    主网站开场动画相当炫酷!
    monkeyWie
        3
    monkeyWie  
       2023-09-01 09:04:00 +08:00
    挺好的,收藏一波
    lvtuyukuai
        4
    lvtuyukuai  
       2023-09-01 09:05:51 +08:00
    挺好用的
    Cosmic4764
        5
    Cosmic4764  
       2023-09-01 09:09:28 +08:00
    为什么返回结果这么快?牛逼哎
    yelog
        6
    yelog  
       2023-09-01 09:10:59 +08:00
    牛的, 收藏了
    quotationm
        7
    quotationm  
       2023-09-01 09:11:51 +08:00
    分页按钮在手机上显示不出来,14pm
    lvtuyukuai
        8
    lvtuyukuai  
       2023-09-01 09:13:27 +08:00
    对搜索词也进行了分词吗?我搜“冰血暴”,结果都是包含“冰”、“血”、“暴”单字的
    McCall2887
        9
    McCall2887  
       2023-09-01 09:14:21 +08:00
    挺好的,感谢提供
    dooonabe
        10
    dooonabe  
       2023-09-01 09:16:27 +08:00   1
    @lvtuyukuai #8 我搜索“双峰”也是这样,没有想要的资源
    SiuKwan
        11
    SiuKwan  
       2023-09-01 09:19:44 +08:00 via iPhone
    感谢提供
    excitedXXX
        12
    excitedXXX  
       2023-09-01 09:22:42 +08:00
    搜索了一下“关于我和鬼”
    返回结果好快啊,牛逼!
    linuxgo
        13
    linuxgo  
       2023-09-01 09:26:42 +08:00
    鼓励
    yangwcool
        14
    yangwcool  
       2023-09-01 09:27:12 +08:00
    好东西。网盘搜索引擎有法律风险吗?我是说会不会过一段时间就 404 。
    toan
        15
    toan  
       2023-09-01 09:27:15 +08:00
    不错,感谢提供
    timnottom
        16
    timnottom  
       2023-09-01 09:30:46 +08:00   1
    借楼推荐一个聚合网盘、磁力搜索引擎: https://hunhepan.com/

    支持 PC 端(非网页端),安卓端
    NeedforV2
        17
    NeedforV2  
       2023-09-01 09:31:15 +08:00
    速度很快,感谢 OP
    GaryBI1STP
        18
    GaryBI1STP  
       2023-09-01 09:38:52 +08:00 via Android
    速度太快了,牛
    Trinity99
        19
    Trinity99  
       2023-09-01 09:40:41 +08:00
    感谢 op ,提个小建议,能不能显示一下资源的大小,毕竟大家都想看画质高的,阿里云一定要转存了,才能看文件大小
    so2back
        20
    so2back  
       2023-09-01 09:49:24 +08:00
    收藏了
    pengyOne
        21
    pengyOne  
       2023-09-01 09:59:47 +08:00
    返回速度好快啊,牛
    jymsy
        22
    jymsy  
       2023-09-01 09:59:50 +08:00
    中文分词做的不行
    WashFreshFresh
        23
    WashFreshFresh  
       2023-09-01 10:01:15 +08:00
    哇,厉害了,文章思路清晰,看的我也想写个。
    goodryb
        24
    goodryb  
       2023-09-01 10:06:49 +08:00
    iPhone 手机上用,点击跳转就跳转到 APP 主界面,看不到资源
    Henry399
        25
    Henry399  
       2023-09-01 10:15:44 +08:00
    感谢感谢
    linkzz
        26
    linkzz  
       2023-09-01 10:22:33 +08:00
    支持支持
    bjfane
        27
    bjfane  
    PRO
       2023-09-01 10:34:28 +08:00
    支持,分词有问题,
    itxh
        28
    itxh  
       2023-09-01 10:51:14 +08:00
    这速度真不错,收录到了我的网站: https://www.wangdu.site/software/1317.html ,希望对你有所帮助
    ImmerTry
        29
    ImmerTry  
       2023-09-01 10:56:23 +08:00
    感谢分享,已经使用到
    haozes
        30
    haozes  
       2023-09-01 11:02:53 +08:00
    不错
    ramdava
        31
    ramdava  
       2023-09-01 11:10:18 +08:00
    中文分词,感觉不太行,可以换换试试
    Justin3go
        32
    Justin3go  
    OP
       2023-09-01 11:32:29 +08:00
    @lvtuyukuai 嗯,分词器用了 ES 的 ik_max_word ,可能不算常用词汇吧
    Justin3go
        33
    Justin3go  
    OP
       2023-09-01 11:34:00 +08:00
    @itxh 谢谢了
    Justin3go
        34
    Justin3go  
    OP
       2023-09-01 11:34:23 +08:00
    @opengps 哈哈哈就一个视频放上去了
    Justin3go
        35
    Justin3go  
    OP
       2023-09-01 11:34:54 +08:00
    @quotationm 确实有这个问题,后面修复,但优先级不高
    Justin3go
        36
    Justin3go  
    OP
       2023-09-01 11:35:41 +08:00
    @yangwcool 不是盈利网站,就纯粹的技术展示
    Justin3go
        37
    Justin3go  
    OP
       2023-09-01 11:37:08 +08:00
    @Trinity99 这个不好做,需要请求阿里云盘的接口,容易违规,而我这种就只是类似于搜索的文章
    Justin3go
        38
    Justin3go  
    OP
       2023-09-01 11:38:08 +08:00
    @goodryb 不太清楚,手机种链接点击是自动跳转的网盘 APP 的,可能是链接中的资源失效了
    fak111
        39
    fak111  
       2023-09-01 12:26:06 +08:00
    能不能加个阿里双胞胎兄弟夸克的:)
    Justin3go
        40
    Justin3go  
    OP
       2023-09-01 12:31:16 +08:00 via Android
    @fak111 重复性工作了,暂时不打算做,并不盈利,只是想实践一下技术
    amlee
        41
    amlee  
       2023-09-01 13:18:20 +08:00
    做的很好啊,再完善完善可以商业化了
    usauk1998
        42
    usauk1998  
       2023-09-01 13:21:15 +08:00 via Android
    搜不了张学友
    Justin3go
        43
    Justin3go  
    OP
       2023-09-01 13:47:19 +08:00
    @amlee 不太敢商业化,就技术分享,免费给大家用吧
    Justin3go
        44
    Justin3go  
    OP
       2023-09-01 13:48:07 +08:00
    @usauk1998 爬虫一直在运行,有可能还没收集到,也有可能互联网上没有人分享这个资源
    amlee
        45
    amlee  
       2023-09-01 13:51:56 +08:00
    @Justin3go 能否问下,你做的这个网盘搜索,服务器用的什么配置?
    Equiliu
        46
    Equiliu  
       2023-09-01 13:54:30 +08:00
    不能获取提取码
    Justin3go
        47
    Justin3go  
    OP
       2023-09-01 14:01:40 +08:00
    @Equiliu 提取码的获取策略是获取互联网某社区帖子中分享链接附近的,有些没有提供提取码,或者根本不需要提取码,亦或者没有提取码字眼的就没有获取
    Justin3go
        48
    Justin3go  
    OP
       2023-09-01 14:02:43 +08:00
    @amlee 4 核 8g ,但没吃满
    Justin3go
        49
    Justin3go  
    OP
       2023-09-01 14:06:04 +08:00
    @Justin3go 目前的情况来看,2 核 4g 差不多合适
    amlee
        50
    amlee  
       2023-09-01 14:10:49 +08:00
    @Justin3go scrapy es nestjs web 全部都在一台机器上?
    Justin3go
        51
    Justin3go  
    OP
       2023-09-01 14:23:55 +08:00
    @amlee web 应用是单独一台服务器,ES 爬虫是另外一台
    amlee
        52
    amlee  
       2023-09-01 14:27:46 +08:00
    @Justin3go 谢谢
    KamL
        53
    KamL  
       2023-09-01 14:32:34 +08:00
    英文搜不出来,例如 Doctor.Strange 就搜不到了
    zololiu
        54
    zololiu  
       2023-09-01 14:48:50 +08:00
    怎么可以这么快,惊呆了
    baoei
        55
    baoei  
       2023-09-01 14:55:53 +08:00
    速度确实是快~ 但是搜索出来的结果太差. 或者说资源太少
    heylogo
        56
    heylogo  
       2023-09-01 15:02:45 +08:00   1
    建议:同意声明并跳转后,原弹出框应该要关闭,不然回到该页还得手动关一下
    Sakura0Tears
        57
    Sakura0Tears  
       2023-09-01 15:05:24 +08:00
    666666666666 厉害
    Justin3go
        58
    Justin3go  
    OP
       2023-09-01 15:08:41 +08:00
    @baoei 还没做多久,爬虫一直在运行,资源还在搜集
    Justin3go
        59
    Justin3go  
    OP
       2023-09-01 15:09:26 +08:00
    @heylogo 确实,用户体验还是你这样好一点,感谢建议
    Justin3go
        60
    Justin3go  
    OP
       2023-09-01 15:11:23 +08:00
    @baoei 然后就是互联网上的资源可能太多了,对比下来阿里云盘的资源就太少了,爬虫策略可能还得优化一下,但目前没什么思路
    sunnicholas
        61
    sunnicholas  
       2023-09-01 15:17:57 +08:00
    资源太少了?
    quietjosen
        62
    quietjosen  
       2023-09-01 15:19:57 +08:00
    厉害厉害,点赞。
    mylxsw
        63
    mylxsw  
       2023-09-01 15:33:39 +08:00
    已收藏
    formant
        64
    formant  
       2023-09-01 15:37:57 +08:00
    牛逼普辣斯,速度很快,感谢
    BBCCBB
        65
    BBCCBB  
       2023-09-01 15:41:33 +08:00   1
    ik 分词器很老了, 12 年开始就没更新了.. 词库落后很多.. 可以尝试下其他的, hanlp 啥的..
    Jirajine
        66
    Jirajine  
       2023-09-01 15:45:40 +08:00 via Android
    推荐试试 meilisearch ,感觉一般的项目完全优于 ES
    romisanic
        67
    romisanic  
       2023-09-01 15:51:43 +08:00
    就这速度而言,必须点赞
    不过好像搜索效果还是差点
    总体好评!
    JRay
        68
    JRay  
       2023-09-01 15:52:45 +08:00
    速度好快啊
    Justin3go
        69
    Justin3go  
    OP
       2023-09-01 16:02:22 +08:00
    @BBCCBB 可以
    Justin3go
        70
    Justin3go  
    OP
       2023-09-01 16:03:59 +08:00
    @Jirajine 周围也有一些人使用过这个,我对 ES 稍微熟悉一点,还行
    kuawo
        71
    kuawo  
       2023-09-01 16:04:23 +08:00
    速度挺快的, 不过好像搜到的资源 不多 我搜 平凡的世界 狂飙 都找不到
    Justin3go
        72
    Justin3go  
    OP
       2023-09-01 16:05:45 +08:00
    @sunnicholas 慢慢来嘛,爬虫正在收集中,没有想要的资源:1.互联网上没有使用阿里云盘分享该资源; 2.爬虫还没有爬到该位置; 3.有些网站禁止爬虫进入
    JensenQian
        73
    JensenQian  
       2023-09-01 16:14:40 +08:00 via Android
    支持
    tagtag
        74
    tagtag  
       2023-09-01 16:17:22 +08:00
    收藏了
    PickOne
        75
    PickOne  
       2023-09-01 16:21:34 +08:00
    感谢分享~
    galphaxie
        76
    galphaxie  
       2023-09-01 16:40:08 +08:00   1
    反馈:
    1. 分词还可以优化, 搜"go 专家编程"结果首页都没有资源命中;
    2. 点下一页按钮, 列表就被清空了, 在首页看的时候明明搜索结果是有多页的.
    didididididi
        77
    didididididi  
       2023-09-01 16:50:54 +08:00
    速度好快 !
    zhw2590582
        78
    zhw2590582  
       2023-09-01 16:56:50 +08:00
    速度这么快
    2NUT
        79
    2NUT  
       2023-09-01 17:13:26 +08:00
    交互体验惊人
    Justin3go
        80
    Justin3go  
    OP
       2023-09-01 17:28:21 +08:00 via Android
    @galphaxie 可以,感谢反馈
    poorcai
        81
    poorcai  
       2023-09-01 17:39:38 +08:00
    厉害了,收藏了
    hsksg
        82
    hsksg  
       2023-09-01 17:52:43 +08:00
    https://www.alipansou.com/ 这个也不错噢,资源多些
    jtcc
        83
    jtcc  
       2023-09-01 18:40:27 +08:00
    牛逼,收藏了
    gogolive
        84
    gogolive  
       2023-09-01 19:49:03 +08:00
    多少数据了?最大的问题网盘资源过期很严重
    Justin3go
        85
    Justin3go  
    OP
       2023-09-01 20:54:01 +08:00
    @gogolive 确实,目前爬虫运行了 2 周多,数据 1w 左右,爬虫的策略还得优化,去过滤那些不可能包含网盘资源的链接的网址来节省资源,但目前没啥思路
    Justin3go
        86
    Justin3go  
    OP
       2023-09-01 20:55:13 +08:00
    @hsksg 对,这个网址我也看到过,参考了它的免责声明哈哈哈哈
    Justin3go
        87
    Justin3go  
    OP
       2023-09-01 20:55:33 +08:00
    @2NUT 感谢认可
    brucmao
        88
    brucmao  
       2023-09-01 21:36:39 +08:00
    搜索很快啊,不过资源更新没这里快
    https://zhaoziyuan.me
    Ccf
        89
    Ccf  
       2023-09-01 22:13:22 +08:00
    的确很快啊
    512357301
        90
    512357301  
       2023-09-01 22:33:54 +08:00 via Android
    @lvtuyukuai 可以试试加英文半角双引号,只是不知道 op 的分词系统是否能识别英文半角双引号
    sheller
        91
    sheller  
       2023-09-01 23:07:54 +08:00
    @brucmao 貌似打不开,科学上网也不行
    Justin3go
        92
    Justin3go  
    OP
       2023-09-02 00:04:28 +08:00
    刚收到短信,没想到这么快这个网站就被 DDos 攻击了,终于轮到我了
    PecanBrant
        93
    PecanBrant  
       2023-09-02 09:32:13 +08:00
    @Justin3go #92 啊?意思不能这个搜索又不能用了吗
    Justin3go
        94
    Justin3go  
    OP
       2023-09-02 09:48:06 +08:00
    @PecanBrant 目前还能用,不过要看攻击者啥时候攻击了,一攻击就会导致服务器拒绝服务。
    pffrank
        95
    pffrank  
       2023-09-02 10:56:32 +08:00
    好像有点问题,搜索后跳转进 APP 不出内容
    SantinoSong
        96
    SantinoSong  
       2023-09-02 11:33:04 +08:00
    @itxh #28 这个域名,网赌.net?
    6Ou6MICPem0j68As
        97
    6Ou6MICPem0j68As  
       2023-09-02 12:06:52 +08:00
    速度很快,但是似乎准确率不太高
    brucmao
        98
    brucmao  
       2023-09-03 19:27:11 +08:00
    @sheller 电信不用代理可以打开,用代理反而打不开了
    lycpang
        99
    lycpang  
       2023-09-04 10:32:40 +08:00
    牛的,正好我最近要分享一个 elastic search 搜索原理。。。感谢大佬的搜索原理,我少走好多弯路
    Justin3go
        100
    Justin3go  
    OP
       2023-09-04 11:44:02 +08:00
    @lycpang hhhh ,能帮助到大家我也很开心
    1  2  
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     918 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 36ms UTC 22:01 PVG 06:01 LAX 15:01 JFK 18:01
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86