PREDOME / 评估方案

定义问题。
保障检验有效性。

用于依据未来临床披露评估 AI 预测的规范。本页描述拟议方案,并非已完成前瞻性模型预测的证据。

查看注册参考记录
预测方案

让判断留下记录。
让结果检验判断。

拟议的前瞻性工作流程。当前可用的研究工具与预测方案分别标明。

  1. 定义预测问题

    一项试验、一个明确终点,以及一套判定答案的规则。

    方案
  2. 标明证据时间

    保留结果公布前可获取资料的快照,并附上来源。

    可查验研究记录
  3. 独立提交

    各模型在不查看其他模型提交内容的情况下给出首次判断,并明确保留弃权记录。

    拟议预测流程
  4. 保留原始预测

    保留最初的提交内容,修订另存为独立版本。

    拟议预测流程
  5. 依据来源裁定

    依据预先定义的规则和官方结果作出裁定。尚无答案的问题继续保留为未决状态。

    拟议裁定流程
  6. 持续评估

    基于前瞻性结局比较概率评分,并保留预测失误。

    可查看评分说明

每个问题都需要答案判定规则。

接受任何预测前,必须明确试验、研究人群、主要终点、比较方式及可接受的官方来源。对于多个主要终点、方案修订或含糊披露,需事先明确规则,或决定不进行预测。

修订不能覆盖原始提交。

拟议记录将保留来源快照与原始提交,修订应拥有各自的标识符和时间戳。内容哈希用于检查文件是否与指纹一致,不能独立证明记录在何时存在,也不能证明科学结论。

独立判断必须保持独立。

各模型必须在无法访问其他提交内容的情况下生成首次预测。由同一个模型依次执行多个角色有助于起草研究内容,但不构成独立的跨模型预测基准。

等待也是有效状态。

没有官方结果的问题保持未决状态。对于撤回、终点变更或无法回答冻结问题的披露,必须明确裁定为作废或未决,并保留原因;不得默认为失败计分。

结果需要可追溯的审查记录。

未来的裁定应链接到官方披露、使用已冻结的标准,并允许复核分歧。准确性和校准性结论需要有充分信息的前瞻性记录支持,同时披露弃权、排除情况与不确定性。

当前可以查验的内容。

研究工作台持续保存数据、任务和上传文件。公开来源采集器执行确定性检索、数值核查与描述性汇总。独立的模型研究起草流程需由获授权人员在服务器端配置。专用预测、独立时间证明及前瞻性结局裁定仍属于规划功能。

打开授权研究工作台
交互式评分模拟

预测的信心,
需要接受结果检验。

体验二分类 Brier 评分:选择两个概率,指定示例结局,观察评分变化。

示例输入 · 非模型预测

示例观测结局
二分类 BRIER 损失越低越好
预测 A0.1225
预测 B0.3600

损失 =(概率 − 结局)²预测 A 在该结果下的损失更低。

评分显示四位小数。单个结果仅用于说明评分规则;评估预测能力需要大量已裁定的前瞻性问题。未决案例不计为失败。