ijustdo's recent timeline updates ijustdo's recent timeline updates | ijustdoV2EX member #188439, joined on 2016-08-23 17:48:44 +08:00 |
 | Per ijustdo's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
ijustdo's recent replies
Jan 23, 2025 Replied to a topic by Tardis07 Linux Linux Shell 如何分类统计标准输出结果 |
(base) [ghostwwl@ghostwwl shell]$ cat 1.txt|awk '{c[$0]++}END{for (i in c) print i " | " c[i]}'|sort -n -k 2
user_A | 3
user_B | 2
user_C | 1
user_A | 3
user_B | 2
user_C | 1
Sep 15, 2022 Replied to a topic by MrVito Python 爬虫相关，关于 XPath 的疑问 |
//div[@id="con_one_1"][1]/descendant::table/descendant::tr[1]/td[2]/p/text()
Apr 29, 2022 Replied to a topic by chaleaochexist git 求推荐 Linux 下 免费的 git GUI 客户端 |
gitui
Apr 2, 2022 Replied to a topic by monster33 程序员 有多少人平时主力电脑用的 Linux ？ |
最近 8-9 年一直 fedora kde ， 主力工作环境
Feb 16, 2022 Replied to a topic by hhvv23911k 程序员 关于本地人体识别，该如何优化，求大佬提建议 |
我树莓派 4 都没你那么慢，你这需求直接用 python 掉 face_recognition 基于 dlib 就 ok ，https://github.com/ghostwwl/my_raspbian/blob/master/gcam/main.py 碰到指定人录像发消息
Jan 24, 2022 Replied to a topic by AutumnVerse 信息安全 每小时 100W+的请求量，该怎么向黑产大哥们求饶啊？ |
上白名单， 存在的需要对外的 url 才能访问， 其它一律 403, 然后加上 ip 请求次数限制
Jun 3, 2021 Replied to a topic by iiq2000 程序员 请问存储百万条或者千万条抖音评论应该选用什么数据库？怎么设计？ |
clickhouse
Jan 19, 2021 Replied to a topic by rationa1cuzz Python 不懂就问，我有一个题库的字典，获取某一个题目时（id），使用 for 循环和 pandas 效率是差不多了的，没有提升。 |
加索引的思路没错
doc_inx = {123: {'ft': '一年级', 'st': '语文', 'inx': 5}, 321: {'ft': '二年级', 'st': '数学', 'inx': 5}}
建立这样的索引
获取的时候
index_obj = doc_inx[321]
result = 题库字典[index_obj['ft']][index_obj['st']]['sublist'][index_obj['inx']]
doc_inx = {123: {'ft': '一年级', 'st': '语文', 'inx': 5}, 321: {'ft': '二年级', 'st': '数学', 'inx': 5}}
建立这样的索引
获取的时候
index_obj = doc_inx[321]
result = 题库字典[index_obj['ft']][index_obj['st']]['sublist'][index_obj['inx']]
Sep 1, 2020 Replied to a topic by fakeJas0n 问与答 如何便捷高效地处理 5000w 左右的离线订单数据 |
给你举个例子 单机就可以搞定
每个订单存为:
[订单 id]_[发货 citycode]_[发货日期]_[收货 citycode]_[收货日期].json
------------------------
分目录:
------------------------
收货城市 citycode 分组目录
时间分组目录[日期]
发货城市 citycode 分组目录
时间分组目录[日期]
每个过程 cityecode 分组目录
时间分组目录[日期]
------------------------
你自己看这个问题是不是不是很简单了
大数据的分区 也是 hadoop 上目录 + 列式存储 没撒
文件遍历统计就搞定， 不急的话一个单字一个单字来， 一个单子一个单子的来都行
每个订单存为:
[订单 id]_[发货 citycode]_[发货日期]_[收货 citycode]_[收货日期].json
------------------------
分目录:
------------------------
收货城市 citycode 分组目录
时间分组目录[日期]
发货城市 citycode 分组目录
时间分组目录[日期]
每个过程 cityecode 分组目录
时间分组目录[日期]
------------------------
你自己看这个问题是不是不是很简单了
大数据的分区 也是 hadoop 上目录 + 列式存储 没撒
文件遍历统计就搞定， 不急的话一个单字一个单字来， 一个单子一个单子的来都行
Select Language