本科毕设主题是「网络谣言识别」，完全没有思路，有没有大神可以指点一下迷津，感激不尽

本科毕设都这水平了啊，可怕。我觉得吧从社区论坛媒体用户数据画像下手会比从谣言本身下手容易。毕设主要的是过，你懂的，不适合做钻研技术

function isFakeBroadcasting(anyThingYouLike) {
return true;
}

我说上面这算法 70%成功率不过分吧？

什么是谣言，什么不是，连人自己都不知道。
不是讲的多的观点就是对的。

举个例子，老太太摔倒了，是讹人还是真的受害者？这你让机器去判断是不可能的。

赶紧换题目吧，这题目做好卖给 Facebook 一辈子不用愁了。多少人想打击 fake news，轮得上一个本科生搞？

@yx1100
你这是要打脸嘛？

原创译文 | 为什么 AI 不能解决 Facebook 的虚假新闻问题
https://cloud.tencent.com/developer/article/1100933

原文

感觉选这种题目是想延迟毕业。。

@wobushizhangsan 背书还是会翻车的。某年亚视报道某人挂了，最后还活着。

@LU35 请问，怎么打脸了？我不是很懂你这个语气。

况且这只是我的一个毕设题目而已，主动权并不在我的手上。

如果你想说是我主动选的，确实是，但我之前是缺乏了解。现实情况是当时我也不会和我的导师去理论说，这个到底能不能做出，我只能是被动的去选择它。

如果是想应用机器学习，那么可以先好好考虑如何提取特征，但是单纯从文章本身很难看出来是否为谣言，需要从其他方面寻找特征。所以我认为这个课题应该是偏信息聚合方面的，机器学习方面的技术可以成为信息聚合的辅助。可以从人如何验证某个观点是否为谣言的角度出发来实现。
所以大概可以分为这么几步：
1 文章关键信息提取，信息蒸馏。可以看看相关 paper，如果不太会的话就用“主题模型”等这些算法提取一下文章关键词。
2 爬虫，爬去相关比较专业的网站。比如一些期刊一些国际医疗组织的文章等等。这个比较麻烦，这些数据直接决定了最终效果。
3 想办法对这些专业网站的关键信息进行提取，以能准确提取出一个“专业观点”为目的。这个是最难的，这些文章很专业，和网络上的流水文不一样。
4 如果能完成第 3 步，接下来就是文章关键词和专业观点匹配了，这个相对来说简单一点。
5 得到观点匹配数据以后，就能把这个作为特征（关键词匹配度，相关专业文章的权重，时效性等等），搞个神经网络、SVM、决策树什么的进行二分类。

我认为做这个课题难度太大了，建议选点简单的。

在商言商，在计算机圈只能想到编程，
我觉得这个问题可以脱离编程，人工智能也更加遥远
可以考虑一些社会学工程类的想法啊。


比如有一个纯公益平台，非盈利性，就像维基百科，大家想找什么东西真伪都会去这个平台，
而且提供一个通用接口，和几大互联网大平台合作比如百度腾讯(你这个是论文，尽管放开想象，百度腾讯不一定会给你机会合作，反正就是假设嘛，)， 和他们合作并在一些比较偏僻的角落或者聊天创建偶尔甚至一天只一次，闪现一个真伪短句按钮，用户只需要是还是否给予反馈。


平台根据全国用户的反馈来做一些分析，但是简单多了，

@yx1100
我的意思是你选题前连花 5 分钟时间 google 一下的时间都没有吗？还是说毕设对你来说无所谓。
关于打脸的意思，众多大佬说做不了，你是要打脸他们说能做吗？

可能这个毕设的目的还是侧重理论分析，然后写一个 demo 级别的程序去验证。实现 100%功能是不太可能的。

首先先明确一下问题，是识别句子“看起来像”谣言还是识别句子“是”谣言。这两个问题的难度可是天差地别的。

@LU35 首先，我承认我没有第一时间去查证。但是，即使你发的那篇文章也只是一家之词，如果真的毫无希望，为什么国内外还有那么多人在研究？其次，题目是老师出的让我们选的，我不会想着说老师会出个根本做不出来的东西来刁难我的。然后，我觉得大多数人都在给我提供帮助，其他人也只是说难，并没有所谓的「众多大佬说做不了」。最后，我很清楚的说了，我只是来求个思路的，我也没要有人直接给我一个或者我要一个现成的东西，我觉得大家都是在平等的交流而已，我也不觉得就算我真的有本事做出来，就是打谁的脸了。

完毕。

我希望还是说技术的多，不要再有这些情绪方面的争论了。再有我也不想回复了。仁者见仁，智者见智吧。

@lxy42 是的，我问了我以前的学长，差不多到这个程度，毕设就可以通过了。其实我就是想安心毕业，也不是要真的做出个啥东西来

https://medium.com/@sheseee/6c71bf4e347
确实存在这么个机器人，大概就是你的题目要求吧。

本科做这种东西是真大佬。

难道只有做到 100%识别谣言才有意义？

另外，楼主做不到太高，甚至会大量误伤
从微信到工信部，文化部再到中科院
都想要这样的东西

我没做过。这个做得非常准确很难，f1 跑个 80, 90 还是不困难的。主要是低水平的太多了。

下面有个我小时候的习作，大致就是 dataset 下面有两个目录，分别是 baseball 相关的邮件和 hockey 相关的邮件。

https://github.com/yuikns/hello-perceptron

然后随机 shuffle 后用最粗糙的感知机做个 training 和 testing。

英文邮件最重要的处理是 stem，就是取词干，去停用词。中文最重要的是分词，然后去停用词。

然后每个文本样品通过上面的处理得到一个非常粗糙的 n 维数组( Xn ) 以及一个标记 1 或者 0 的 Y。

perceptron, svm 等等判别模型的目标就是假定存在一个方程

x1*w1 + x2 *w2 +..... xn * wn + b = y

你先抽取各个 feature X 以及结果 y， 然后丢模型里面训练出一组 W 和 b。

生成 x 的方法有很多，nlp 的话，最简单的跑个词袋，弄个 w2v 什么。然后拉出 feature 后丢过去跑就是。

经典机器模型用 svmlight 或者 xgboost，不行的话拿 pytorch 撸个 cnn 什么也行。参数随便选选，然后降个纬随便看看。其实跑个中不溜秋的结果还是可以的。

丢两个以前无聊随手写的科普
https://blog.argcv.com/articles/2857.c
https://blog.argcv.com/articles/1036.c


工具的话，看看这些：
xgboost: https://xgboost.readthedocs.io/en/latest/index.html
svmlight: http://svmlight.joachims.org/
台大的 libsvm 也挺好玩的，他们老板当年每年换学生重新实现，我还见过几个。https://www.csie.ntu.edu.tw/~cjlin/libsvm/

fb 的 fasttext 也值得看看 https://github.com/facebookresearch/fastText/

特征是语言表述的特征，你人看到这些特征后，要想办法把它变成一个 n 维的向量。机器学习是帮你划出一个超平面，面的这边是谣言，那边不是。

有多少人工就有多少智能，就是对这种学习的总结。over

机器学习就是需要足够特征

换个思路吧
比如百度网盘的鉴黄
与其机器学习识别视频内容，不如收集用户行为习惯，看是哪些视频经常被快进了看，而且源于同一人

真要是说通过识别文章内容主体，让机器去理解，估计目前你还是做不到的
不如去识别来源及传播的特征，辅以原始但成熟的关键词过滤想想家族群里的老人转发的都是什么吧

导师不想你毕业了？要不去看看小马怎么解决假新闻？

说到这，不得不说一下有些目标用户群是中老年人的微信公众号，其内容绝大部分是耸人听闻的假新闻、国际关系类谣言、错误的医疗常识、不符合主流价值观的家庭关系类故事（婆媳关系居多）、标题党、震惊、沸腾。
从我个人来看，微信官方完全是在对这种行为置之不理。这种公众号已经成为产业链了，雇佣会打字的低学历人员，批量生产这些文章，文章质量就是“能过微信反抄袭”就行，一个工作室下有若干这样的公众号。

这个问题其实很 straightforward。就是尝试分辨谣言传播者在制造这些句子的时候，不自觉使用的异常用词习惯。如果前面说的假设为真，那么有几千个标注好的训练集，很容易就能弄出一个比乱猜要高得多的预测结果。

很大多数的谣言，其实水平都非常低下。而这种问题主要是吊打各种低级黑子的。

楼上有些没玩过的能不能别乱撺掇...你们都在说啥啊

关键是提取谣言的特征，一种是人为定义特征或规则，这是专家系统的思路；还有一种就是采集足够的谣言数据，利用深度学习或机器学习的算法，自动提取特征。一个可用的系统，可能需要两者结合起来。首先，需要针对微信公众号、微博喜欢传谣的人，比如公知之类的，爬取他们的数据，制作成一个数据集，如果能搞个几十万或数百万的数据集，基本上可以进入下一步了。

机器学习不就是做特征识别吗？
特性 不是 特征。
另外，我拍脑袋想到的：
1. 谣言具有更强的文字情绪特征，比如 “不转不是中国人” “震惊！” “竟然”
2. 人名 查无此人，组织名 查无此组织，地名 查无此地
……另外我觉得做出来可以和 OpenAI 的那个假新闻生成器相提并论了。

自然语言处理很多工作其实都是对语料的处理和特征工程，机器学习算法也是依赖特征的。
1. 我建议你先从平衡语料的构建开始，可以分几个主题比如关于医学、新闻等每个主题去收集一些正负样例，样例的正负比例尽量均衡。每个样例标注上所属的主题类别、是否是假新闻、来源、时间等。然后把你构建的语料进行划分，可以划分为训练集和测试集，也可以留一部分做开发集，如果你不想用交叉验证的话。

2. 对你构建的语料库进行预处理，包括分词、词性标注等

3. 基于一个有监督的机器学习算法完成模型的训练和性能评价，比如最简单的先用 ngram、tfidf，lda 等方法提取离散特征，然后用 SVM 分类，或者用现在比较流行的 LSTM CNN4text 等模型。
等你熟悉流程和数据之后，就可以从数据上做一些文章，看哪些方面可以改进的。

如果不做中文的，其实已经有现成的数据集可以用了，https://github.com/KaiDMML/FakeNewsNet

感觉可以降低问题难度，先做个简化版，把进行谣言识别的范围缩小到对指定谣言的识别，例如只识别转基因相关的谣言，就先识别话题，不是转基因的都不用管，然后再识别是不是谣言
这样范围小一点，就算机器学不会，你自己多看看也能找到规律，能有点事做

首先爬数据，思路可以是根据用户发帖的数量个关系网来确定，水军的特征和正常用户的特征是不一样的

@LingJi 谣言哪里有什么特征 同样的新闻 正规渠道发表的 只要地名换一下 时间换一下 就成了谣言

人日亩产万斤了解一下

哈哈
我对这个也相当感兴趣，
lz 可以来个联系方式，咱们一起折腾哈

你要搞清楚毕业设计要的是什么，要的是看起来有一定工作量的东西，要的是看起来合理并且过查重的论文，除此以外随便糊吧。网络谣言识别想办法去哪里找个好的数据集，找不到就自己写个爬虫去爬一些数据集（就是几万条正常新闻和谣言，从一些谣言举报平台之类的爬）。找个现成的分词算法，找些现成的分类器，把数据全扔进去，出个结果，不同分类算法各自准确率。最后出来的结果又不用发表，又不用公开代码，言之有理即可。
请自觉遵守学术诚信和学术道德，不对此造成的一切后果负责，后果自负。

我觉得你能有个百万谣言数据都可以不用做结论就能毕业了

时间不错+完全没思路=挂

你的导师和学长应该告诉你第一步是读论文吧。

就是总结出特征，然后用 svm 之类就可以，

了解下 svm 之类算法，
读下谣言有哪些特征，自己发散思考下

你学长说的很对。

"网络谣言诞生具有一些典型特征，传播特性是其中一个重要特征。"
你们导师太小看现在的网络了 现在是记者造谣 辟谣成本极高
还记得缝肛门那个案子吧 直接就是记者造谣 这谣言直接毁了一个医生
还有绵阳的医生被逼自杀 现在那个营销号还逍遥法外
一个谣言
要先转到对应的公安局 然后公安去调查所属地是不是真的有案子发生
如果不是 还要查全国有没有类似的案子 被调换了时间 地点 甚至有些是国外的案子故意隐藏重要信息 甚至将图模糊化来蒙蔽视听
都没有 就跟北京那个编造外卖给差评杀你全家的 直接抓人关起来完事
所以说 单从微博一个平台来看 除了各家警方的蓝 V 和新闻联播这种保守型媒体 没一个可信的 尤其是新京报 恶名罩住

对其中一种谣言的特征有印象：

内容大量重复，时间地点只有模糊值：

比如只有月日周没有年，只有昨天、这星期、月底前之类的模糊时间，
比如某某路、某某公园之类的模糊地点。

且在泛滥的谣言，往往会因为无脑转发而在原文之外的发布平台或转发人补充内容中，
出现各种不同的年月日和省市区等精确值。