求助 AI 大佬！是否可以构建一整套 AI 驱动的 Systematic review or Meta analysis 流程？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 670 天前的主题，其中的信息可能已经有所发展或是发生改变。

本人医学相关专业，在最近的一个会议中和几个相关专业的巨佬桌下交流，无意间讨论到是否可以借助目前的通用 AI 模型帮助我们做一些逻辑性很强当时异常枯燥的工作。例如，Systematic review 和 Meta analysis 是我们常规了解一项新的诊疗技术是否真的有用的特别重要的文献，但是撰写这种文献工作量很大，且机械化：

1. 数据库文献检索（通常是大量，超过 1W 篇论文检索结果）；
2. 基于设定的规则排除不适用的 paper ，通常会包括好几轮筛选，比如第一轮只看 tittle ，第二轮精读 Abstract ，第三轮通读全文。该过程工作量很大而且存在误判的可能；
3. 针对筛选的论文，根据特定规则评估相关研究的可信度和偏移程度。这一步通常很主观，所以需要引入多人交叉验证；
4. 提取与 Topic 相关数据，进行分析（工作量极大）
5. 数据分析；
6. 论文撰写。

我们注意到，上述的很多工作实际上是 AGI 模型所擅长的，包括数据检索、内容总结和评估、数据提取、初稿撰写等。

因此，我们就很自然的想到有可能求助 AGI 模型搭建一个通用（半通用？）的研究范式来解决这一问题。

奈何对 AI 方面了解确实不多，不知道论坛的大佬们是否有什么好的建议和意见，甚至是否有可能线上讨论下？

谢谢！

检索

工作量

文献

agi

9 条回复 2023-12-12 11:57:45 +08:00

maymay5

2023-12-10 17:00:01 +08:00

1 、数据库文献检索向量数据库（但是这个不一定适用，有时候 [关系型数据库] 可能会更好，要看情况）

2 、论文初筛OpenAI Assistant API ，文件处理能力很强，当前处于 [测试版本] 还需等待，但肯定不需要太久

3 、可信度，偏移量向量检索（余弦算法可以很好的满足这个场景， [余弦算法] 使用余弦距离来表示论文本体与设定规则的相似度，准确度很好）

4 、提取与 Topic 相关数据OpenAI Assistant API

5 、数据分析OpenAI API ，3.5-16k 和 4.0-128k 等大长度模型都适用

6 、论文撰写暂无特别好用高效的解决方案，因为主观性太强，其次要保证原创性，任重道远~

Mangozhen

2023-12-10 18:28:59 +08:00

@maymay5 感谢提供思路!

有几点我需要解释下：

1. 数据库是指目前公开的论文数据库，如 PubMed ，Web of Science 等学术论文数据库；
3. 研究偏倚分析，实际上这是一个专业性很强的工作，目前在临床研究中，主要基于 QUADAS 工具（ BMC Med Res Methodol 3, 25 (2003). https://doi.org/10.1186/1471-2288-3-25 ）进行评估。因此，需要 AI 在理解相关专有名词、实验设计和文章的基础上利用 QUADAS 来进行评估。
6. 论文撰写我倒觉得可行，基于分析数据结果，人为给定 outline ，应该能在一定程度上帮助我们起草文章的主要部分。但是对于讨论部分，AI 可能会深度不够，甚至给出错误的论断，需要特别注意。

crazyL

2023-12-11 10:30:22 +08:00

你可以看看谷歌 Gemini 的宣传片，不是那个多模态的，有一个专门讲如何帮助科研的，里面就有类似你说的这个过程。

Mangozhen

2023-12-11 14:50:26 +08:00

@crazyL OK, 我 Google 一下。

Mangozhen

2023-12-11 16:07:46 +08:00

@crazyL 刚才去看了下这个视频展示，可以说是非常符合我们的场景了。

crazyL

2023-12-11 19:01:37 +08:00

@Mangozhen 其实国外已经走得很远了；这样的功能广义上属于 agent 的范畴，如果真的有兴趣自己实现的话可以了解一下，可惜国内目前没有智能水平达标的大模型能完成这个工作

mauve

PRO

2023-12-11 22:21:30 +08:00

分享下我最近在使用的几款工具：
- https://elicit.com/
- https://typeset.io/
- https://www.paperdigest.org/review/
- https://www.connectedpapers.com/

前两个最好用，可以直接搜索关键词然后选定几篇，横向比较，功能很多～

Mangozhen

2023-12-12 11:55:57 +08:00

@mauve 太棒了，我来学习学习！

Mangozhen

2023-12-12 11:57:45 +08:00

@crazyL #6 确实，我们在基础及应用基础的研究上还是差点的优点远，这次以局外人的眼光来看 AI 辅助科研这一块，学到不少东西。