麻将洗牌 40 张牌跟踪, YOLO+ByteTrack 累积 1942 ID, SAM 2 / Cutie / CoTracker3 哪个能救? - V2EX
ydt0728

麻将洗牌 40 张牌跟踪, YOLO+ByteTrack 累积 1942 ID, SAM 2 / Cutie / CoTracker3 哪个能救?

  •  
  •   ydt0728 18h 30m ago 850 views
    学习项目. 单视角 RGB 1080p@25fps, 洗牌 60-120s, 求洗牌前 → 洗牌后 40 张牌的位置映射.

    数据特点

    40 张牌外观近似, 无 re-ID 特征, 背面同色
    手覆盖 60-80% 帧, 单牌可完全遮挡 1-3s
    频繁翻面, 严格目标数上限 = 40
    已试 + 失败

    YOLO11-Seg 检测 静态准, 密集叠加漏
    ByteTrack 60s 累积 1942 ID (理应 40), 卡尔曼+IoU 假设被遮挡彻底破坏
    匈牙利 + lost-recovery 跨段匹配 中段 cost matrix 退化为噪声
    人工逐帧 fallback 但 60 min/副, 成本太高
    在看的方案 SAM 2 video predictor / Cutie / DAM / MASA / CoTracker3 / TAPIR / HaMeR (3D 手部 pose) / ProPainter (擦手部)

    求建议

    玩过 SAM 2 / Cutie / CoTracker3 实战, 或做过 surgical instrument tracking / 同队服球员跟踪 / shell game 视觉问题的同行 哪条路在"40 个相似目标 + 持续遮挡"这个 regime 最稳? 论文 / 代码 / 工程踩坑都欢迎. 评论或私信均可.
    15 replies    2026-05-28 11:28:27 +08:00
    thedog
        1
    thedog  
       18h 26m ago
    你们是在做老千牌桌吗
    thedog
        2
    thedog  
       18h 26m ago
    真是赚钱的项目
    ydt0728
        3
    ydt0728  
    OP
       18h 22m ago
    @thedog 老千牌桌就不需要用这么复杂的视觉了。直接标记或者 frid 芯片了。纯研究
    Perchouli
        4
    Perchouli  
       18h 4m ago
    好玩,想起之前看过的一个研究:vetbench.github.io Can Vision-Language Models Solve the Shell Game
    它是用三仙归洞的案例,和 [遮挡+目标跟踪] 这个类似。不过它是想说 LLM 对于状态记忆的问题,提出了 SGCoT ,类比麻将就是记住牌的 [物体的运动轨迹] 。40 张麻将牌要复杂得多,我不是做 CV 的,不太懂。
    Tink
        5
    Tink  
    PRO
       17h 56m ago
    有兴趣,关注关注
    sduoduo233
        6
    sduoduo233  
       17h 44m ago via Android
    有示例视频吗 想试试
    moudy
        7
    moudy  
       17h 34m ago
    这个不抗麻将机攻击啊
    ydt0728
        8
    ydt0728  
    OP
       17h 5m ago
    @sduoduo233 V:YnB0ODE4==
    tywtyw2002
        9
    tywtyw2002  
       15h 0m ago via iPhone
    你先手动试试能不能追踪明白。手动能追踪明白在上 AI 。
    否则最后经过几次轨迹概率分析叠加后,结果几乎不可用。
    Tink
        10
    Tink  
    PRO
       6h 58m ago
    @tywtyw2002 正文里不是写了人工通过了么
    minmini
        11
    minmini  
       6h 13m ago
    @thedog #1 做在眼镜上面,云(手机)端计算
    ydt0728
        12
    ydt0728  
    OP
       5h 43m ago
    @minmini 现实都是麻将机 不是手洗呀 哈哈
    tywtyw2002
        13
    tywtyw2002  
       4h 55m ago
    @Tink 问题是人工能达到 100%的精确度吗?还是说精确度有多少。

    麻将洗牌的时候,完全可以做到 2-3 张牌在被手完全盖住的情况下,调换位置,这个完全没法追踪,只能概率实现。


    以前做停车场汽车追踪的时候,同型号汽车不按照车牌识别,但是经过遮挡路段就会完全丢失,只能根据速度和车流时间去猜,猜测结果还不如随机数(可能是水平太差)。最后还得上车牌识别才能追踪。
    ydt0728
        14
    ydt0728  
    OP
       3h 54m ago
    @tywtyw2002 是的问题就是 有时候会短暂遮挡,然后再出现的时候 要怎么定位跟踪
    ydt0728
        15
    ydt0728  
    OP
       3h 53m ago
    @tywtyw2002 可以 V:YnB0ODE4== 我发点视频素材给你 给点建议可以吗
    About     Help     Advertise     Blog     API     FAQ     Solana     5335 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 48ms UTC 07:21 PVG 15:21 LAX 00:21 JFK 03:21
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86