真诚发问，如何将大模型落地到质量领域（QA)呢？

最近团队在做几个尝试
1 、通过 LLM 的多模态 和 推理能力，实现对 UI 界面的理解，从而实现 UI 自动化；
2 、通过对代码 diff 和需求文档，对需求的测试重点进行分析输出，从转生成测试用例
3 、通过对代码等信息，进行自动化代码生成，这个侧重在 API 这类型有标准协议定义的借口类型；

1 的落地可行性还是很大的，2 的话目前没有抱很大希望，但也在积极探索

@specimen 2 看起来很有意思，之前也尝试过根据 pr 的 diff 和一定的上下文（比如这段 diff 的整个文件内容）来生成可行的测试方案。但效果不好

@specimen 请教一下 1 是怎么让模型理解 ui 的？是 web dom 或者代码传入进去还是基于图片？实现 ui 自动化指的是自动化测试还是？

为什么不问问大模型自己呢？我请教了我家大模型，是这样答复的，供参考：

将大模型应用到质量领域（ Quality Assurance, QA ）可以有多种方式，以下是一些可能的策略：

- **自动化测试**：利用自然语言处理（ NLP ）和机器学习技术，可以创建自动化测试脚本。例如，大模型可以帮助理解和解析复杂的业务逻辑，生成测试用例，甚至预测可能出现的错误。
- **缺陷预测和预防**：通过对历史数据的学习，大模型可以预测代码中的潜在问题，帮助开发者在编码阶段就发现和修复问题，提高产品质量。
- **文档审查和代码审查**：大模型可以帮助审查技术文档和代码，检查语法错误、逻辑错误或不一致之处。
智能客服和用户反馈分析：通过理解用户反馈和问题，大模型可以帮助快速定位产品质量问题，并提供解决方案。
- **持续学习和优化**：大模型可以根据反馈数据持续学习和优化，提高其在 QA 中的表现。
- **质量标准和合规性检查**：模型可以用于检查产品是否符合特定的质量标准或行业规范。
- **流程优化**：通过分析和理解复杂的业务流程，大模型可以帮助优化 QA 流程，提高效率。

实施这些策略需要与业务流程紧密结合，同时也需要对数据进行充分的预处理和训练。此外，由于涉及到敏感的业务数据和决策，数据安全和隐私保护也是需要考虑的重要因素。

@specimen 这有什么好的办法吗

@kneo #3 清华大学有团队在做类似的，GUI 理解，实际上只要解决对画面的理解，具体执行哪些空间，交由 LLM 去决策和断言就可以了

@kneo #3 两者皆可尝试

@specimen 你说的 1 不是这个吗？ https://github.com/google-research/pix2struct?tab=readme-ov-file

自动单元测试
Meta 已经用起来了
https://arxiv.org/abs/2402.09171

@rus4db 说真的，有点自知之明吧。插不上话的时候可以闭嘴。可别再复制大模型的垃圾话了。

@kneo 我感受到了你对於大模型的恐惧噢 来自大模型