一个 22 万张 NSFW 图片的鉴黄数据集?你可以有大胆的想法了…… - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ljspython
V2EX    分享发现

一个 22 万张 NSFW 图片的鉴黄数据集?你可以有大胆的想法了……

  •  1
     
  •   ljspython 2019-01-14 14:35:26 +08:00 26409 次点击
    这是一个创建于 2466 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如果你想训练一个内容审核系统过滤不合适的信息,或用 GAN 做一些大胆的新想法,那么数据集是必不可少的。例如图像鉴黄,我们需要使用卷积神经网络训练一个分类器,以区分正常图像与限制级图像。但限制级的图像很难收集,也很少会开源。因此最近有开发者在 GitHub 上开源了一份 NSFW 图像数据集,这是不是你们想要的?



    项目地址: https://github.com/alexkimxyz/nsfw_data_scrapper

    最后,希望大家注意身体
    129 条回复    2019-01-25 11:55:26 +08:00
    1  2  
    lwlipuyang
        1
    lwlipuyang  
       2019-01-14 14:46:58 +08:00
    我佛了
    hilbertz
        2
    hilbertz  
       2019-01-14 14:47:52 +08:00   46
    好的,先让我再进行一次详细的人工标注
    publicvoid
        3
    publicvoid  
       2019-01-14 14:54:30 +08:00
    楼主好人
    DesmondLiu90
        4
    DesmondLiu90  
       2019-01-14 14:55:05 +08:00
    666
    zhang1215
        5
    zhang1215  
       2019-01-14 15:11:01 +08:00
    刚刚随意打开一张发现并不是 NSFW 的 http://cdn.awwni.me/kguv.jpg
    lucahan
        6
    lucahan  
       2019-01-14 15:12:09 +08:00
    有点强啊。。。。
    likuku
        7
    likuku  
       2019-01-14 15:12:44 +08:00
    @zhang1215 可能...有些办公室的也是无法容忍(正常)二次元文化吧。
    Oa
        8
    Oa  
       2019-01-14 15:13:03 +08:00
    删前留名
    wsd15321
        9
    wsd15321  
       2019-01-14 15:18:38 +08:00
    这也行
    ziseyinzi
        10
    ziseyinzi  
       2019-01-14 15:20:34 +08:00 via Android   1
    收藏比回复多系列
    JohnChiu
        11
    JohnChiu  
       2019-01-14 15:22:58 +08:00   1
    @zhang1215 #5 neutral 和 drawings 文件夹内是 safe for work 的啊
    HOHOCCC
        12
    HOHOCCC  
       2019-01-14 15:25:51 +08:00
    这谁顶得住啊
    SuYia
        13
    SuYia  
       2019-01-14 15:26:57 +08:00   3
    要不要拿出我私藏的爬虫出来?怕分享了大家身体就垮了
    hpeng
        14
    hpeng  
       2019-01-14 15:28:20 +08:00 via iPhone
    Reddit 去采集 nsfw 就好了,已经帮你标注了
    slamDunkLINk
        15
    slamDunkLINk  
       2019-01-14 15:37:16 +08:00
    楼上的,有就别私藏了,分享才是王道
    kawkeye
        16
    kawkeye  
       2019-01-14 15:39:12 +08:00 via Android
    @thonatos share?
    sxm
        17
    sxm  
       2019-01-14 15:47:50 +08:00 via Android
    抓个 xxx 站就有几百万的图了
    zhuoyan
        18
    zhuoyan  
       2019-01-14 15:48:53 +08:00
    1042 次点击, 25 人收藏
    lucahan
        19
    lucahan  
       2019-01-14 15:53:56 +08:00
    @thonatos 我能顶得住
    stone666
        20
    stone666  
       2019-01-14 15:57:00 +08:00
    火钳刘明
    BestMe
        21
    BestMe  
       2019-01-14 15:59:20 +08:00
    @ljspython 不懂技术的,表示很焦急。
    wwg1994
        22
    wwg1994  
       2019-01-14 16:01:49 +08:00
    这谁顶得住啊
    shench
        23
    shench  
       2019-01-14 16:08:34 +08:00
    厉害厉害!
    abeholder
        24
    abeholder  
       2019-01-14 16:08:45 +08:00   5
    哇塞,搭配我的控制台下载器
    https://github.com/abedormancy/tinydownloader
    来下载 食用更佳 (里面有千把张二次元桌面壁纸,忘记哪爬的了。。)~~
    imshf
        25
    imshf  
       2019-01-14 16:09:59 +08:00
    @thonatos #13 顶得住老哥
    zhang1215
        26
    zhang1215  
       2019-01-14 16:10:58 +08:00
    @JohnChiu 噢,没仔细看还以为全都是呢
    abeholder
        27
    abeholder  
       2019-01-14 16:12:27 +08:00
    为什么突然萌生出一种六学既视感 。。。

    说到 NSFW 的数据集, 我就想起了几个月前做的一个小的下载器。。。

    别问了,问就文体两开花
    lingo
        28
    lingo  
       2019-01-14 16:15:35 +08:00   3
    你要说人工智能神经网络,我是不会的,但是你说人工标注,那我们的故事就开始了。
    lingo
        29
    lingo  
       2019-01-14 16:17:20 +08:00   4
    顺便想起前几天看到的说 firefox 新功能,内置了一个黄网名单,名单上的网站不会出现在欢迎页。。
    作为一个开源项目,能不能只对这份名单感兴趣 = =
    d5
        30
    d5  
       2019-01-14 16:21:10 +08:00 via iPhone
    理念先进了
    gxlwm
        31
    gxlwm  
       2019-01-14 16:21:44 +08:00
    就这一会 star 涨了好多, 老哥们稳
    Amayadream
        32
    Amayadream  
       2019-01-14 16:22:50 +08:00
    这谁顶得住啊
    lucahan
        33
    lucahan  
       2019-01-14 16:26:07 +08:00
    @abeholder 这谁顶得住啊。。。
    xspippo
        34
    xspippo  
       2019-01-14 16:33:48 +08:00 via iPhone
    快拿我的营养快线
    jasonyang9
        35
    jasonyang9  
       2019-01-14 16:37:53 +08:00
    这叫学以致用
    Bantes
        36
    Bantes  
       2019-01-14 16:39:50 +08:00
    1842 次点击 55 人收藏
    不说了,收藏波先
    suyuyu
        37
    suyuyu  
       2019-01-14 16:44:22 +08:00
    插眼
    x86
        38
    x86  
       2019-01-14 16:49:34 +08:00   4
    手冲一时爽,一直冲一直爽
    lkmountain
        39
    lkmountain  
       2019-01-14 16:51:10 +08:00 via Android
    插眼
    youngxu
        40
    youngxu  
       2019-01-14 16:52:48 +08:00 via Android
    机器之心昨天发的,我昨天就 clone 了以防被删( x
    OMGZui
        41
    OMGZui  
       2019-01-14 16:56:23 +08:00 via Android
    留图不留种,xxxxxx
    JRay
        42
    JRay  
       2019-01-14 16:59:56 +08:00   2
    为了学习人工智能我决定要收藏一波
    wjfz
        43
    wjfz  
       2019-01-14 17:01:04 +08:00
    已 DownLoad ZIP 防止被删
    cp333
        44
    cp333  
       2019-01-14 17:01:52 +08:00 via iPhone
    教练,我也要学人工智能
    hackpro
        45
    hackpro  
       2019-01-14 17:03:39 +08:00 via iPad
    这么大的数据集就算了 你还要做 GAN
    你想干嘛 想让 TA 自己脱衣服吗
    zhichaozhang
        46
    zhichaozhang  
       2019-01-14 17:03:53 +08:00 via iPhone
    fork 了
    qiuai
        47
    qiuai  
    PRO
       2019-01-14 17:18:01 +08:00
    @thonatos 家里随时有几箱营养快线的路过...快放出来...
    leexy
        48
    leexy  
       2019-01-14 17:18:25 +08:00
    666
    ResidualWind
        49
    ResidualWind  
       2019-01-14 17:25:59 +08:00
    火钳刘明
    rocyhua
        50
    rocyhua  
       2019-01-14 17:27:13 +08:00
    火钳刘明
    CivAx
        51
    CivAx  
       2019-01-14 17:38:40 +08:00
    后排兜售营养快线、卷纸
    bravecarrot
        52
    bravecarrot  
       2019-01-14 17:46:57 +08:00 via iPhone
    期待楼主的换脸作品
    zhouyg
        53
    zhouyg  
       2019-01-14 17:47:41 +08:00
    学习学习下人工智能
    Yiki
        54
    Yiki  
       2019-01-14 17:59:45 +08:00
    大家保重身体
    lostberryzz
        55
    lostberryzz  
       2019-01-14 18:02:50 +08:00
    proxychains4 wget --tries=1 -i raw_data/porn/porn.txt
    peaceblast
        56
    peaceblast  
       2019-01-14 18:07:32 +08:00 via iPhone
    @zhouyg 好像很正经的样子……
    mumonitor
        57
    mumonitor  
       2019-01-14 18:13:12 +08:00
    我准备开始学习卷积神经网络了!
    AngryPanda
        58
    AngryPanda  
       2019-01-14 18:13:18 +08:00
    战略性 mark
    j717273419
        59
    j717273419  
       2019-01-14 18:44:05 +08:00 via Android
    有没有 nsfw 视频训练集
    1daydayde
        60
    1daydayde  
       2019-01-14 18:58:39 +08:00
    战略性马克, 我为什么滑稽了起来
    xlcoder166
        61
    xlcoder166  
       2019-01-14 19:05:28 +08:00
    战略性马克 +1
    heiyutian
        62
    heiyutian  
       2019-01-14 19:14:53 +08:00 via Android
    这是限制级?

    ddid
        63
    ddid  
       2019-01-14 19:21:17 +08:00
    我有个疑问,这些资源都是欧美的,如果是亚洲或者非洲内容,会不会免疫鉴定呢?
    hotea
        64
    hotea  
       2019-01-14 19:21:38 +08:00
    1024
    purplewall
        65
    purplewall  
       2019-01-14 19:23:25 +08:00
    讲真这个项目是个爬虫+分类器吧,不过链接是真的多
    dissvm
        66
    dissvm  
       2019-01-14 19:24:54 +08:00 via Android
    91024
    tao1991123
        67
    tao1991123  
       2019-01-14 19:25:20 +08:00
    好人一生平安
    ddid
        68
    ddid  
       2019-01-14 19:26:07 +08:00
    好吧,多翻了几张,挺全面的……
    michaelcheng
        69
    michaelcheng  
       2019-01-14 19:29:32 +08:00
    凸(艹皿艹 ),在公司不小心点开
    googlefans
        70
    googlefans  
       2019-01-14 19:38:25 +08:00 via iPad
    懂了
    KasuganoSoras
        71
    KasuganoSoras  
       2019-01-14 19:39:19 +08:00   1
    <?php
    $data = file_get_contents("/raw_data/pron/pron.txt");
    $exp = explode("\n", $data);
    foreach($exp as $url) {
    exec("wget {$url}");
    }
    KasuganoSoras
        72
    KasuganoSoras  
       2019-01-14 19:39:45 +08:00
    写错了是 porn hhh
    earthyan
        73
    earthyan  
       2019-01-14 19:43:33 +08:00 via iPhone
    哈哈哈
    wangfei324017 /td>
        74
    wangfei324017  
       2019-01-14 19:45:55 +08:00
    蛮多无关的啊。。
    Phariel
        75
    Phariel  
       2019-01-14 19:48:18 +08:00 via iPhone
    这种项目建议不要 fork 会有 ban 号的风险
    Loyalsoldier
        76
    Loyalsoldier  
       2019-01-14 20:01:19 +08:00   2
    cat ../urls.txt | xargs -n 1 -P 20 wget -t 3

    -P 20 这个 20 上同时下载的数量,这是同时一次下载 20 张图片
    -t 3 这个 3 是如果图片第一次下载失败后,尝试 3 次
    daxiongz
        77
    daxiongz  
       2019-01-14 20:30:20 +08:00
    够了....
    mlhorizon
        78
    mlhorizon  
       2019-01-14 20:38:45 +08:00
    @heiyutian #62 按照绿绿教义,肯定限制级。
    weeevv
        79
    weeevv  
       2019-01-14 20:58:24 +08:00 via Android
    再来几个人把 GAN 抬上来...
    ayase252
        80
    ayase252  
       2019-01-14 21:21:24 +08:00
    exciting
        81
    exciting  
       2019-01-14 21:48:07 +08:00 via iPhone
    1024
    咦,不好意思走错站了。
    i945
        82
    i945  
       2019-01-14 21:51:29 +08:00
    我感觉... 这个真训练出来,没几张图能过审
    Mrlgm
        83
    Mrlgm  
       2019-01-14 22:21:10 +08:00
    这谁顶得住呀
    Nick2VIPUser
        84
    Nick2VIPUser  
       2019-01-14 22:57:10 +08:00   2
    fly9006
        85
    fly9006  
       2019-01-14 23:16:35 +08:00
    额,这样玩下去,gayhub
    xxgirl2
        86
    xxgirl2  
       2019-01-15 01:15:11 +08:00
    记得把下载脚本里的 wget 改用 aria2c,要不然那是真的慢(
    xuanbg
        87
    xuanbg  
       2019-01-15 07:24:05 +08:00
    自然风光图片不错
    imn1
        88
    imn1  
       2019-01-15 07:52:12 +08:00
    自从有电脑开始就不缺这种数据,而且是已经标注了的……
    leopku
        89
    leopku  
       2019-01-15 08:09:03 +08:00 via iPhone
    leopku
        90
    leopku  
       2019-01-15 08:12:25 +08:00 via iPhone
    @imn1 不分享说个猫线
    imn1
        91
    imn1  
       2019-01-15 08:20:22 +08:00
    @leopku
    我只是想说,搞技术的,甚至仅仅只是会用现成工具的,22w 都只是小数目

    而且,在这点上我比较相信人民警察的能力,自己拿没事,分享则要慎重
    lyseky
        92
    lyseky  
       2019-01-15 08:21:08 +08:00 via Android
    收藏不看系列
    fengc
        93
    fengc  
       2019-01-15 08:26:13 +08:00 via iPhone
    flashrick
        94
    flashrick  
       2019-01-15 09:01:35 +08:00
    这谁顶得住啊
    DRcoding
        95
    DRcoding  
       2019-01-15 09:07:15 +08:00
    7129 次点击 263 人收藏 5 人感谢

    热爱学习的我觉定让它变成 264 人收藏
    hasbug
        96
    hasbug  
       2019-01-15 09:21:35 +08:00
    翻看了一些,都是欧美,也没看到真漏的,失望,还不如 sex 站直接看
    huruwo
        97
    huruwo  
       2019-01-15 09:26:06 +08:00
    fork 就完事了
    Tourin
        98
    Tourin  
       2019-01-15 09:33:34 +08:00
    已 star
    Rizio
        99
    Rizio  
       2019-01-15 09:33:58 +08:00
    @heiyutian 说起来有点下流,我。。我好了
    Rizio
        100
    Rizio  
       2019-01-15 09:34:35 +08:00
    @hasbug 就是要这种没漏的,留给自己 YY 的空间,嘿嘿嘿嘿
    1  2  
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5438 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 34ms UTC 07:57 PVG 15:57 LAX 00:57 JFK 03:57
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86