我是个菜鸟,想知道资深大佬搭建一个识别跳绳计数的 ai 程序需要多久 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Finesniffing
V2EX    Python

我是个菜鸟,想知道资深大佬搭建一个识别跳绳计数的 ai 程序需要多久

  •  
  •   Finesniffing 2022-10-05 21:32:06 +08:00 7885 次点击
    这是一个创建于 1108 天前的主题,其中的信息可能已经有所发展或是发生改变。
    摄像头实时输入的视频
    1 人或多人出现在画面中
    人脸识别
    开始跳绳
    程序计数
    屏幕显示成绩变化
    44 条回复    2022-11-19 12:03:20 +08:00
    mineralsalt
        1
    mineralsalt  
       2022-10-05 21:51:19 +08:00
    有点难, 跳动速度稍快人眼都很难捕捉绳子的运动何况是普通摄像头, 还不然在绳柄上装个计数装置, 再把数据传到 APP 上处理
    thedrwu
        2
    thedrwu  
       2022-10-05 22:04:49 +08:00 via Android   2
    倒着跳一圈,采样 aliasing 爆了,满分通过
    liyafe1997
        3
    liyafe1997  
       2022-10-05 22:08:29 +08:00 via Android
    拿个 VGG 或者 ResNet 之类的网络魔改下?
    kkocdko
        4
    kkocdko  
       2022-10-05 22:12:08 +08:00
    识别人跳动,检测是否有绊到的动作,检测双手是否都拿着绳子?

    所以你的需求是什么,限制是什么,场景是什么。个人觉得小时候那种自带计数器的跳绳就挺好了
    qsmd42
        5
    qsmd42  
       2022-10-05 22:20:05 +08:00
    不是有个 app 叫摇摇吗
    jeesk
        6
    jeesk  
       2022-10-05 22:56:27 +08:00 via Android
    思路改一改 ?
    7zlid
        7
    7zlid  
       2022-10-05 22:59:12 +08:00 via Android
    这个程序是不是能用来统计另一件事情中间动了多少次?
    slowman
        8
    slowman  
       2022-10-05 23:02:35 +08:00
    这不是成熟的不得了的技术吗。。怎么还有 V 友认为“有点难”呢。。
    找了个视频,天天跳绳的
    eason1874
        9
    eason1874  
       2022-10-05 23:25:16 +08:00   7
    @1423 #8 你觉得成熟是因为你真的听口令开始跳绳,你不按口令来你就知道错误率有多高了

    有很多学生为了逃避作业用一张白纸画个简笔画小人,绳子都不用画,只要拿着纸上下晃动,这 APP 也会计数
    hzxxx
        10
    hzxxx  
       2022-10-06 01:09:36 +08:00   2
    @1423 这个视频就看得出识别有挺多问题的
    ysc3839
        11
    ysc3839  
       2022-10-06 02:51:31 +08:00 via Android
    @1423 那只是别人成熟,如果用 AI 识别,且网上没有开源方案的话,设计和训练模型的成本是很高的
    ericgui
        12
    ericgui  
       2022-10-06 04:28:38 +08:00
    @1423 第 7 次计数就搞错了,那个第 7 次明显是没跳过,但也计数了
    wangritian
        13
    wangritian  
       2022-10-06 05:10:39 +08:00
    先考虑一个单人版低成本实现方案,用 tf-models 的 pose-detection 标注躯体关键点,用一定时间内膝盖垂直坐标变化量判断是否起跳,状态机管理站立和起跳的变化并计数,第一次起跳开始计时,尽量用 60 帧摄像头,不过感觉错误率不会低
    Sped0n
        14
    Sped0n  
       2022-10-06 06:19:06 +08:00 via iPhone   1
    换个思路吧
    视觉识别这个难度很高
    binux
        15
    binux  
       2022-10-06 07:05:12 +08:00 via Android   1
    @Sped0n 同意,试试识别声音?
    linhongye
        16
    linhongye  
       2022-10-06 08:11:58 +08:00 via Android
    摄像头本身的帧率、清晰度如果跟得上的话,倒不会难到做不出来… 不过不同用户设备参数不同,也会是影响效果的一个重要因素…
    当然,比起要多久时间,说要多少钱可能更合适?…
    buyan3303
        17
    buyan3303  
       2022-10-06 08:22:37 +08:00
    我个人感觉,先得一个能抓拍超高速甩绳的摄像机,再写程序,动态处理绳子转圈的轨迹。
    而且这个要实时处理的话, [最快的一个人一分钟能达到 649 下] ,
    光是数据采集就难。
    然后采集过来得快速处理+实时或者低延时出结果,那还得多服务器分布式处理。
    xuanbg
        18
    xuanbg  
       2022-10-06 08:35:00 +08:00
    @1423 这个技术哪里就成熟了。。。只能说人按规矩来,机器勉强能准确计数。但只要不按规矩来,机器肯定要 SB 。

    成熟的标准至少要达到:任何普通人能想到的欺骗手段都能识别。随便你怎么跳,我都能按设定的规则来计数。
    loading
        19
    loading  
       2022-10-06 09:10:16 +08:00
    不要求完美,只要检测头部位置,上下变化就行了。
    Herry001
        20
    Herry001  
       2022-10-06 09:22:08 +08:00   6
    这玩意真不成熟……
    宋太祖一分钟跳绳比赛: https://www.bilibili.com/video/BV1fr4y1p7Lh/
    bailixi
        21
    bailixi  
       2022-10-06 09:32:57 +08:00
    @Herry001 看这个,差点没给我笑过去,哈哈哈
    laoyur
        22
    laoyur  
       2022-10-06 09:49:22 +08:00
    @eason1874 你用过没有?我们班的小同学手头没有绳子,空跳,都被检测出来了,还「绳子都不用画,只要拿着纸上下晃动」
    HugoChao
        23
    HugoChao  
       2022-10-06 09:53:49 +08:00
    @Herry001 没点进去之前没想到这么好笑,蛤蛤蛤蛤蛤
    christin
        24
    christin  
       2022-10-06 10:03:43 +08:00 via iPhone   1
    直接换思路,与其辛苦搞这个识别,不如整个带计数的跳绳来的方便。
    vopin
        25
    vopin  
       2022-10-06 10:19:50 +08:00 via iPhone
    视觉不如直接硬件传感器
    信我
    yolee599
        26
    yolee599  
       2022-10-06 10:21:56 +08:00 via Android
    已经有成熟的 APP 可以实现了吧,经常看到小朋友用手机摄像头对着自己做一些动作,然后手机那边播报计数,做得不标准还会播加油。作弊肯定无法避免的,全靠自觉
    LZSZ
        27
    LZSZ  
       2022-10-06 10:33:14 +08:00
    双脚离地就算一次呗
    gelilaohuang
        28
    gelilaohuang  
       2022-10-06 10:51:41 +08:00
    @1423 看这小孩跳绳我替他急得慌
    liuhuansir
        29
    liuhuansir  
       2022-10-06 11:03:27 +08:00
    @wangritian 我也算经常跳绳,1 分钟 180 上下,60 帧的摄像头怎么做到准确识别呢,这不搞个高速摄像机能记录下每次的跳动?
    m1nm13
        30
    m1nm13  
       2022-10-06 11:19:29 +08:00
    纯靠摄像头来识别,目测现在的水平,不可能做的好,加个活体识别能避免纸片人的问题
    但是避免不了人家就干跳,不甩绳子。。。不过干跳好像也达到目的了 DOG
    hubahuba
        31
    hubahuba  
       2022-10-06 11:52:40 +08:00
    多目标检测 可以用 crowhuman 预训练

    拿到特征直接传给 deepsort ,追踪也不难

    多目标行为识别也不是难点,检测一个跳绳的时序特征帧随便用一个视频理解预训练模型也能较好的识别

    难点在于密集的重复性动作这块,如果视频帧率追不上他跳的速度,比如他跳了两次,但是两帧之间人却都在空中,这就不太好计数

    也要看你后期怎么做计数这块的业务处理

    一个小弱鸡的理解
    uni
        32
    uni  
       2022-10-06 12:27:04 +08:00
    有啊,之前币圈有个跳绳赚钱的,我也很好奇技术上他们怎么做的
    Building
        33
    Building  
       2022-10-06 12:31:53 +08:00 via iPhone
    想要做到完美,起码要攻克以下几点吧:
    人体识别(知道画面中有人)
    人体追踪(画面中出现其他人不会干扰)
    人体动作追踪(画面中人物做了动作能记录下来)
    人体动作识别(能够识别记录下来的动作,开始,暂停,摇手等等……)
    声音识别(能识别脚落地或者绳子扫地发出的声音,这个还要快速识别)
    你看看现在声画处理技术有那一项能够完美做到了?
    还有一种是用苹果的激光雷达扫描得到 3D 模型,用游戏的方式来处理,但问题是苹果的那个距离精度不是很高
    leonshaw
        34
    leonshaw  
       2022-10-06 12:34:58 +08:00
    双摇三摇都不考虑吗
    eason1874
        35
    eason1874  
       2022-10-06 12:46:01 +08:00   1
    @laoyur #22 上面 21 楼发的那个宋太祖一分钟跳绳比赛,跟 8 楼视频用的同一个 APP ,宋太祖在书本里没拿绳子,也没跳,你看它检测出来了吗

    还不信的话,看看这个:跳绳,但监督者是 AI https://www.bilibili.com/video/BV1gb4y177Xc/

    再不信的话去 B 站搜 天天跳绳
    buyan3303
        36
    buyan3303  
       2022-10-06 12:51:17 +08:00
    @leonshaw #34 还有花样跳绳:左右甩绳,绳子空转一两圈再手接,单脚跳,两脚交换高度跳等等。
    iloveoovx
        37
    iloveoovx  
       2022-10-06 13:22:16 +08:00
    www.laoyaoba.com/n/826920

    估计用这个,做识别就比较简单了。5000fps 视觉传感器
    elboble
        38
    elboble  
       2022-10-06 13:49:41 +08:00
    上半年疫情在家上网课,体育课就是用“天天跳绳”的 app ,每天跳绳,仰卧起坐,开合跳等,ai 识别运动。
    基本靠谱,不过楼上宋太祖跳绳这个也玩过了,一分钟 260 ,最高记录,再也破不了了。
    laoyur
        40
    laoyur  
       2022-10-06 14:51:37 +08:00
    @eason1874 看了你说的那个宋太祖,确实如你所说

    以前我家娃班里也要求打卡这个天天跳绳的,后来老师没有继续监督,大家就都不了了之,都不弄了
    但那会儿群里确实有好几个家长说没绳空跳被抓包了
    难道是老师人肉抓的……我也懒得去再去实测这 app 了

    不管怎么说,你的结论是对的,我武断了,抱歉,没有看了视频再说话
    wuxiaoqing234
        41
    wuxiaoqing234  
       2022-10-06 15:49:47 +08:00
    @eason1874 有没有可能, 这也是功能之一。就是类似金手指,真把学生卡死了,大家都不下载就麻烦了
    supersu
        42
    supersu  
       2022-10-06 16:39:31 +08:00 via Android
    [劲夫教你完成体育作业-哔哩哔哩] https://b23.tv/kHBDaXY 这个俯卧撑的更搞笑~
    imn1
        43
    imn1  
       2022-10-07 16:32:02 +08:00
    说简单也简单
    跳绳是有规律行为,动体移动范围、行为频率、声音等等都是可测的

    说难也难
    因为人类的行为是无限的

    所以
    善意跳绳的话,就是目的确实是为了跳绳本身相关,还是可做的
    “恶意跳绳”的话,就是要达到容错(非主观的错误动作)、作弊检测(主观的反检测行为)、以及外部干扰因素,呵呵,这个 AI 做出来可以上天了
    Finesniffing
        44
    Finesniffing  
    OP
       2022-11-19 12:03:20 +08:00
    谢谢各位大佬的回复,根据大家说的,我找到了思路~!
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2733 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 09:32 PVG 17:32 LAX 02:32 JFK 05:32
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86