编｜郭必扬
源｜SimpleAI
那一夜…
-
2022年11月30号，OpenAI推出了ChatGPT，给NLP届乃至各行各业的人带来了巨大的惊喜和惊吓[1]；
-
2022年12月5号，由于受到ChatGPT的冲击，Stack Overflow宣布禁止用户在平台上发布由ChatGPT生成的内容[2]；
-
2022年12月8号，我夜不能寐，作为一个普普通通NLP研究者，被ChatGPT冲击到自我怀疑，不断反问自己在ChatGPT时代还能做些什么研究。思来想去，我觉得在ChatGPT如此强大的情况下，我们非常需要一个ChatGPT检测器，来判断一段内容是否是ChatGPT生成的……
当晚我很晚才睡着，但是第二天一大早就醒了，兴冲冲得跟几个好友讨论了这个事儿，经过一番讨论，我们觉得这是个有价值的事儿，值得一做！接着我们在一个更大的群里（孤勇AI研究者群hhh），对这个话题展开了热烈讨论。当天晚上，我们便组建了一个由海内外6所高校或企业的博士生/工程师组成的8人团队，为了一个共同的目标：
“开发一套ChatGPT检测工具，同时收集第一手宝贵的人类-ChatGPT对比数据集，来助力相关学术研究。
这一天是2022年12月9日，是ChatGPT推出的第10天。我们一帮普普通通的国内AI孤勇者们，就这样踏上了一段充满未知和挑战的旅程。
在我们立项之后，也有有业界大佬提出类似的想法，例如一流科技创始人袁进辉12月11日提到“我觉得一个迫在眉睫的需要研究的问题是，怎么区分真实由人类生成的文本和chatGPT生成的文本？”
另外，12月21日，清华大学也开始招募志愿者来收集 ChatGPT 的中文数据；而在国外，根据最近的新闻，普林斯顿大学也有团队在做类似的事情，并于1月3日提出了一个demo (即最近很火的 GPTZero [3])。相比之下，我们可能是最早开始这方面研究的团队了，但是一直很低调而忙碌地在收集数据、分析、训练模型….（其实应该学习人家普林斯顿大学团队，不管东西做了多少，先放出一个Demo….哎，少不更事啊！）虽然风头被抢了，但我们团队一开始的初衷就不是蹭热度，而是为社区做出一些真正的贡献，ChatGPT检测器只是我们计划的一部分，我们计划：
-
收集一批有价值的人类和 ChatGPT 对比的中英双语问答语料，这对于我们研究人类和大型语言模型（LLM）很重要，可以帮助我们研究LLM的特点、跟人类的差距、未来LLM改进的方向；
-
对大量的人机对比语料进行细致的分析，并进行多方面的人工评测，探究人类和ChatGPT分别具有什么有趣的潜在的模式。这些探索将有助于思考LLM未来应去往何方；
-
最后，基于对比数据集以及语料分析，开发应对不同场景的一系列检测模型，这些模型可帮助普通用户和UGC平台来识别、监管 AIGC (AI Generated Content)。
项目进展汇报
今天，距离我们立项，已经过去了大约一个月。一个月，我们的私有仓库进行了 166 次 commits，大家基本每天都在为之奋斗：
今天，我们已经收集了中英文的 3-4 万个问题和近 10 万条「人类-ChatGPT 对比」回答语料，涵盖了开放域、计算机科学、金融、医疗、法律、心理等多个领域。这批语料集从各个领域，反映了人类专家和 ChatGPT 在面对同一个问题时会有怎么不同的回答；我们对这批对比语料进行了大量的特征分析，发现了很多有趣的结论，相关的人工测评也正在紧锣密鼓的进行，基于这个语料库和相关分析，我们开发了三种使用不同算法、针对不同场景的 ChatGPT 检测模型（都支持中文和英文，已经上线 🤗 Hugging Face Spaces）：
-
问答版，输入问题和回答，使用预训练模型分类器判断回答内容是 ChatGPT 生成还是人类撰写。
访问链接: https://huggingface.co/spaces/Hello-SimpleAI/chatgpt-detector-qa -
单文本版，判断任意文本是 ChatGPT 生成还是人类撰写，技术与（1）相同。
访问链接: https://huggingface.co/spaces/Hello-SimpleAI/chatgpt-detector-single -
语言学特征版，基于一些计算语言学特征，使用机器学习建模进行检测。
访问链接: https://huggingface.co/spaces/Hello-SimpleAI/chatgpt-detector-ling
我们近期的计划如下：
| Events | Dates |
|---|---|
| Project Launch / 项目启动 | 2022-12-09 ✅ |
| Comparison Data Collection / 对比数据收集 | 2022-12-11 to Now 🏃♀️ |
| Release ChatGPT Detector (Demo) / 检测器 Demo 发布 | 2023-01-11 ✅ |
| Models Release / 模型开源 | Coming in a week 🛬 |
| Comparison Corpus Release / 语料集开源 | Coming in a week 🛬 |
| Research Paper / 研究论文发布 | Coming in a week 🛬 |
| … | … |
欢迎大家关注我们的项目主页：
https://github.com/Hello-SimpleAI/chatgpt-comparison-detection我们将于大约一周内开源代码、模型和语料集，希望得到大家的宝贵反馈！
ChatGPT 检测器展示：
下面，我们使用我们的检测器，对多个平台的内容以及ChatGPT相应的生成内容，进行检测，包括英文：
-
Wikipedia概念解释
-
Quora开放问答
中文：
-
百度百科概念解释
-
知乎开放问答
Wikipedia
GPT系列模型都在Wikipedia语料上进行了充分的训练，这导致GPT系列模型会生成跟WIkipedia风格十分类似的文本，因此Wikipedia语料十分考验检测器的能力，下面我们随机找一个概念，分别检测人类专家的解释和ChatGPT的解释：
预测正确！（我们同时测了GPTZero，发现其预测错误。GPTZero主要使用文本困惑度以及句子间的困惑度变化来进行预测，一般人类的句子间困惑度差异会较大，而AI生成的内容则较小，而对于WIkipedia这种十分规范的文体，可能句子间的困惑度差异也较小，因此可能导致GPTZero判断错误）
Quora
百度百科
知乎
知乎上，我们选取了问题“如何评价OpenAI的超级对话模型ChatGPT”，并测试了周博磊老师的回答和ChatGPT自己的回答：
最后，希望大家关注我们Github项目：
Github：https://github.com/Hello-SimpleAI/chatgpt-comparison-detection
我们也邀请广大朋友一起来调戏我们的检测器，如果能为我们提供一下预测错误的Bad Cases，那就太感激了！🤗我们的开源代码、模型和语料集，将会和我们的研究论文一并在近期公布，届时再进一步跟朋友们进行交流。鉴于 OpenAI 的“不Open”，以及 AIGC 对当下学界的冲击和社会的潜在风险，我们希望能和更多志同道合的朋友，一起为开放的学术研究做贡献！❤️❤️
后台回复关键词【入群】
加入卖萌屋NLP、CV、搜推广与求职讨论群
[1]ChatGPT: https://openai.com/blog/chatgpt/
[2]Stack Overflow禁用 ChatGPT: https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned
[3]GPTZero: http://gptzero.me/
原文链接：https://blog.csdn.net/xixiaoyaoww/article/details/128710915
