# Siglum

> 我们正在建设一个证据库和评估工具，用于研究 AI 审查者在什么情况下会漏掉同样的问题，以及增加一位审查者能否以可接受的成本提供有用的证据。

Source: https://counterproof.io/zh/siglum/ · Published 15 October 2026 · CounterProof 是 Clavestra Capital Limited（马耳他，C 113987）旗下的一项业务。


**仍在进行中**。Siglum 是 CounterProof Research 在[智能体谱系校勘学](https://research.counterproof.io/)（英文）（agentic stemmatics，即研究机器生成文本的文献学）领域的一个研究项目。如果测试表明 Siglum 有效，CounterProof 打算基于它提供付费评估，因此我们对这些测试的结果有商业利益。我们正在建设一个证据库和评估工具，用于研究 AI 审查者在什么情况下会漏掉同样的问题，以及增加一位审查者能否以可接受的成本提供有用的证据。它将记录关于模型之间关系的已知信息、每次测试所用的确切设置以及给出的每一个回答。它还会注明哪些模型的来源尚不确定。相关的方法已经存在，其中包括 [PhyloLM](https://arxiv.org/abs/2404.04671) 和 [Stemma](https://arxiv.org/abs/2607.25880)，我们将把我们的结果与它们的结果进行比较。它的实际价值尚待证明。

**为什么重要**。一些机构让多个 AI 模型检查同一份工作成果，例如代码、安全发现项或书面主张，并把它们的一致当作确认。这种一致的价值低于它看上去的样子。当两个模型都出错时，它们往往给出同一个错误答案，而且能力更强的模型更常如此（[Kim 等，2025](https://arxiv.org/abs/2506.07962)）。在一项研究中，九个前沿模型为同一批文本打标签，所提供的信息大约相当于两位独立评判者（[Kohli，2026](https://arxiv.org/abs/2605.29800)）；那项任务是文本分类，而不是审查工作成果，因此这一结果与审查小组的关系是类比，而不是直接测量。来自不同公司的模型仍然可能存在相关性错误，因此选择多家供应商本身并不能解决这个问题。Siglum 的目标是用测量取代假设：对于某一类工作和某一组 AI 审查者，它们的错误重合的频率有多高，这个小组实际上相当于多少次独立检查，以及再增加一位审查者能否以值得付出的成本，发现其他审查者遗漏的问题。如果它有效，“四个 AI 模型一致同意”就可以附上一个数字。