使用“经典”机器学习(AIGC文本检测)检测 LLM- Gened Web 虚构

本文目前为实验机器翻译,可能含有错误. 如有任何不明之处,请参见中文原版. 我正在不断努力改进翻译。

TL; DR 演示词

截至2026年初,主流LLM生成的文本显示出强大的统计规律,可以使用传统的机器学习模型有效地区分出人文内容. 我怀疑有多少所谓的“AI盗版检查员”实际上在引擎盖下工作。

在线演示人:https://lyc8503.github.io/AIText Detectionor/

本演示中使用的模型没有经过通用数据培训,也没有经过严格的优化或迭代。 其单次判决检测精度在测试集中约为85%. 请通过本条阅读,然后用来理解潜在的局限性。

GitHub: lyc8503/AIText Detectionor上提供了核心代码(草稿)和训练有素的模型文件

背景(aka 无用朗布林)

早在半年前我还在写论文时, 我测试了几个平台——CNKI、Wanfang和一些第三方AIGC检测服务,发现它们确实可以以适当的准确性区分我的手写文本和LLM生成的文本。

这让我对AIGC的检测方法(以及如何绕过它)感到好奇。

但我当时忙于处理太多的事情,

最终,我伪造了我的方法 通过论文, 生活向前发展。 但最近,在浏览Lofter时, 我偶然发现整个标签 淹没了低质的, 疯狂的外形 AI 产生的粉丝。

我怎么能看一看他们是AI? 有些人甚至不用清理Markdown格式或AI生成的片段标题,

但大多数AI生成的文本更难发现, 等到你意识到有些事情不对劲时, 一些文本是无法证明为AI的边缘,让我偏执. 在吞下太多AI产生的粪便后, 洛夫特浏览到这里停止了——该打开VS代码了!

建造AI生成的文字探测器。

研究尝试 - 无运气

互联网在寻找AIGC检测时几乎完全被广告污染. 每一个结果都只是另一种作文-AI-重写服务. 当时,我从噪音中挖掘出来 发现了一种叫文字模糊的东西。

这个想法很简单:利用现有的LLM来估计特定句子中每个词出现的概率. 如果在LLM的预测(Top-N)中几乎每个词都排在高位,那么句子很可能是AI生成的. 反之,如果许多话出乎意料,那就更有可能是人写的。

听起来很有前途,对吧? 我花了一段时间尝试这个方法,但结果令人失望——大量的假阳性和假阴性,无法设定合理的门槛. 此外,还存在一些实际问题:推论成本高,跨模型通用性差,局部部署大型模型有困难,闭量模型难以整合. 总体来说,

失败的尝试 - 被一群温柔的"导师"骗了

A( 某某) 成功尝试 – scikit- learn SVM

由于在线资源是无用的,回到老式的炼金术.

Scikit -learn,启动! 根据它的路线图,我们可以直接选择线性SVC和Naive Bayes作为我们分类任务的良好起点.

(Whisper:这也符合我的直觉——LLMs有可察觉的文字选择模式;甚至一个Naive Bayes分类器应该去取. 我只是没想到信号会这么强烈。

数据生成

古老的炼金术传统分类方法需要有标签的数据——所以我们需要人文文字和经确认的LLM生成的文字来进行培训.

我的方法:我从2023年从一个类似福特和河流的平台上提取数据, 我只是过滤出 极低的接触或非常短的片段, 然后随机抽取了近10,000个 多种特征的文本作为人文样本。

然后,我用LLM来生成这些文本的章节摘要,把这些摘要反馈到LLM中,并让它重新产生完整的文章. 这给了我大约相等数量的LLM生成的样本,在流派中是多种多样的,并且与原始人类内容紧密匹配.

至少理论上是这样 但LLM API很昂贵, 因此,我得到了创造性—— 并避开规则 杠杆多个低成本或免费API频道:

• 双子座:使用CLIProxyAPI将Antigravity/Gemini CLI配额转换为API访问——只需为AI Pro账户支付~20美元.
• Qwen: Qwen- 代码允许您反向编辑 Qwen Plus API 免费
• GLM-5:幸运的时机——OpenRouter免费提供GLM-5公共β(小马阿尔法).
• Kimi、Deepseek、Doubao、GLM-4.7:在宣传编码计划期间签字——第一个月8.9美元,API访问解锁

免责声明:这不是一项建议。 这些行动违反了TOS平台,可能会令你被禁止. 但平台太忙于营销杂耍,

许多以编程为主的LLM API奇特地为每个调用充电,但我们可以通过将任务分批成大量输入来滥用优化,迫使LLM生成更多每个调用的内容. 所以说...

什么叫全价三百多万双子座?

最终,我用Gemini-3-flash生成摘要,还有7种不同的模型(Gemini-3-pro, qwen-coder-plus, glm-5, glm-4.7, kimi-k2.5, doubao-种子编码, deepseek-v3.2)生成7组LLM生成的样本.

生成的文件

培训

我等不及开始训练。

我要求克劳德写分类码,它天真地把整个原始文本扔到模型中——实现可疑的99.45 %的准确度...... 等等,真的吗?

克劳德毫无用处。 我自己来。 我用中文标语将所有文字分成句子, 清理出一些噪音后,句子级别分类仍然打~85%的准确度!

即使是这个buggy的第一个版本也击中了88%的精度(后来优化到85%)

每个句子的准确性是85%, 也就是说, 对于更长的文章, 这一表现远远超出了我的预期. 与那些只问LLM的愚蠢的在线工具相比,

在完成所有数据后,我尝试了训练一种8级模型(人类+7AIs),但LLMS看起来太相似了——可能是相互蒸馏出来的——所以分类很混乱,精确度只有~50%.

多类结果——显然不能分开。 可能我的模特儿烂透了 但不管怎样 不重要

最终,我训练了七个独立的二进制分类器,并使用多数投票:如果X%2模型发现的话,一个句子被标记为AI.

所有模型都实现了超过85%的精度和超过80%的F1-精密固体! 我也注意到AI生成的文本经常被多个模型标出,因此投票是完全合理的.

我尝试过MultnomialNB和SGD分类法,但精度略微下降. BERT稍有提升,但需要太多的GPU时间——被放弃。 甚至测试了AutoGluon,它不知何故只管理了53%的二进制精度. 也不会潜入其中。

JS 网络演示执行

这时候,我本可以发表回馈,并宣布一天结束。 但每次发射Python都太不方便了 我本来可以主持一个Python API,

我最初的计划:向ONNX输出模型,通过ONNXWeb runtime在Wasm运行推论. 但当我要求我的硅仆克劳德帮忙时, 我并没有明确指出,

嗯... 实际上不是一个坏主意。 我用一个100万个特征的文本测试了它, 它花了大约10秒在我的机器上,可以接受。 对于典型的数以千计的特征投入,这是即时的。

且JS的做法更透明, 我将保持这个稍为愚蠢的执行。 (布莱姆·克劳德,不是我)

至于准确性:我测试了不同的特性限制。 最终确定业绩的优先次序并保留500k特性。 以JSON的形式储存, 较小的版本(50k–80k)只损失了3–4%的准确度,但最终AI检测率差异很大——特别是在人类文本上,有±50%的相对差异,导致假阳性. 所以我坚持了500千

最终准确度下降:~1%,如下所示:

测试性能

下方的所有测试都使用pruned web版本,该版本的性能应该与完整的joblib模型相似.

当前逻辑:将输入文本分为句子,使用所有7个二进制模型进行清理和分类. 如果2号模型标出句子, 最终AI分数是标记字符的比例. 分类:

• 50-70%:可能是人类
• 70%:也许是AI

首先,对Doubao和Deepseek等普通模型的测试检测率——两者都在培训数据中。 给我写个3000字的故事 容易抓获:

深探V3.2: 78.4%

Doubao种子代码:93.0%

如何概括?

克劳德·索内4.6: 71.9%

GPT 5.2: 73.3%

我测试了其他几个没有参加训练的型号(MiMo-V2、Doubao-Seed-2.0、GPT-4o)——都检测到~70%,有些甚至大于90%。 坚固.

还测试了更复杂的提示——例如,输入20章的人文文字,并要求LLM模仿风格并继续下去。 检测率略微下降至67.8%(但记住,我们也接受过复杂的检测)。 由于空间原因未显示结果 。

然后,我从订阅名单中选取了十部完成的网络小说(2022年前)——各种流派,作者,时代,以及可能没有在训练数据中.

其人工智能检测率:22.7%、24.2%、25.0%、24.5%、19.0%、13.7%、29.1%、4.9%、27.3%、19.2%-30%以下。 我也抽查了随机的洛夫特风扇;由于它们更随意,检测率往往低于10%。 但当我在短信中输入我怀疑是人工智能生成的, 检测率猛升到83.4%,

[Mar 5, 2026 Update] (英语). 为了进行更严格的测试,我随机抽取了来自洛夫特的1万个高接触量(views >5000),长形(word counter >2000)的粉丝,全部在2022年之前发布. 他们的人工智能检测率分布(使用7式投票,% 2票):

使用60%作为阈值 ^ 假正率: 0.04% 使用70% → 假正率: < 0.01%(实际为零) 60%以上的四个文本都是收集索引,不是实际故事——由于链接过多而被标记。

即使达到50%的阈值,假正率也只有0.33%.

我从Lofter Android的前20个趋势标签(每周)中刮去所有文章,

32.22%的文章得分大于50%AI——可能是部分或完全AI生成. 还有人类吗? 此外,没有人主动宣布AI生成的内容。

" 达摩衰落的年代, " ——该集团的朋友

攻击和防御-通过检测(?)

我们造了一个AIGC探测器。 现在该造一个反检测器了

不,开玩笑。 我没那么无聊。

让我们试试常见的反AIGC检测技巧:

Google翻译(CN EN CN):89.9%~85.0% Youdao翻译(CN EN CN):89.9%~79.2% Sogou翻译(CN EN CN):89.9%~86.0%

略微下降,但仍有清晰的标记。

使用“魔法”的提示让LLM输出减少“类似AI的”效果,

测试的单行速率: 重写上述文章以尽量减少AI的味道: 89.9% – 83.0%

此外,还尝试了更复杂的提示:89.9% — 79.3%

稍有改进,但实际上仍然毫无意义.

这个检测方法太强了! (旗帜)

如果我真的想绕过它,我唯一的想法就是微调大量人类文字的LLM, 或者建立一个庞大的基于规则的系统 来手术地破坏 SVM 匹配的特性。 但这已经超出了这篇文章的范围。 并不知道是否可行。 或许还有更好的办法,

爱

现在,是时候结束闹剧了。

我并不期望这个分类任务如此简单, 大部分的努力只是等待 LLMs 生成数据...

雄心勃勃的读者可以采用这种方法,为其他领域培训探测器,例如学术论文“AIGC探测”。 再加上闪闪发光的前端, 如果你赚钱,

另一个想法:检测AI生成的图像. 但随着稳定扩散和容易的LORA微调,视觉风格远比文字更为多样——这项任务会更加困难. 写完这个之后,我三分钟的热情被烧掉了。 也许下一次。

最后,关于AI生成内容的几句话:我不接受AI生成的娱乐作为合法的创作作品. 就像AI编码工具产生膨胀、无法维护的代码、AI生成的文本、图像和音频, 我非常不满意。 我开始怀疑LLMs所谓的“创造性写作”只是一系列训练后的数据被无休止地重新组合和重现。

但同样,“世界应该”从未等同于“世界应该”。 虽然有限责任公司带来了创新和生产力的提高,但滥用和滥用却在每一个行业不断蔓延。 既然LLMs被精细地用来利用人类的认知,那么谁知道他们究竟是“理解”什么还是仅仅记住模式呢? 在补补了“大到3.9或3.11”或“我应该步行还是开车去洗车”等无尽的虫子之后,我们真的可以说模型了解世界吗?

每个人都陷入争论:LLM是什么? 怎么会破坏我的产业? 大赦国际会把人类带到哪里去? 没有人有答案。

在人工智能时代之前, 否则,我可能不知道今天的气象编码软件到底有多蠢。 至于未来? 要么基因化AI将人类社会秩序粉碎,要么AI泡沫暴发,记忆变得自由. 不论如何,

本条根据CC BY-NC-SA 4.0许可证颁发。

作者:lyc8503,文章链接:https://blog.lyc8503.net/en/post/llm-classifier/ 互联网档案馆的存檔,存档日期2013-12-02. 如果这篇文章对你有用或有意思的话,请给我买杯咖啡 可在以下英文中自由发表评论。