定义问题。
保障检验有效性。
用于依据未来临床披露评估 AI 预测的规范。本页描述拟议方案,并非已完成前瞻性模型预测的证据。
查看注册参考记录让判断留下记录。
让结果检验判断。
拟议的前瞻性工作流程。当前可用的研究工具与预测方案分别标明。
定义预测问题
一项试验、一个明确终点,以及一套判定答案的规则。
方案标明证据时间
保留结果公布前可获取资料的快照,并附上来源。
可查验研究记录独立提交
各模型在不查看其他模型提交内容的情况下给出首次判断,并明确保留弃权记录。
拟议预测流程保留原始预测
保留最初的提交内容,修订另存为独立版本。
拟议预测流程依据来源裁定
依据预先定义的规则和官方结果作出裁定。尚无答案的问题继续保留为未决状态。
拟议裁定流程持续评估
基于前瞻性结局比较概率评分,并保留预测失误。
可查看评分说明
每个问题都需要答案判定规则。
接受任何预测前,必须明确试验、研究人群、主要终点、比较方式及可接受的官方来源。对于多个主要终点、方案修订或含糊披露,需事先明确规则,或决定不进行预测。
修订不能覆盖原始提交。
拟议记录将保留来源快照与原始提交,修订应拥有各自的标识符和时间戳。内容哈希用于检查文件是否与指纹一致,不能独立证明记录在何时存在,也不能证明科学结论。
独立判断必须保持独立。
各模型必须在无法访问其他提交内容的情况下生成首次预测。由同一个模型依次执行多个角色有助于起草研究内容,但不构成独立的跨模型预测基准。
等待也是有效状态。
没有官方结果的问题保持未决状态。对于撤回、终点变更或无法回答冻结问题的披露,必须明确裁定为作废或未决,并保留原因;不得默认为失败计分。
结果需要可追溯的审查记录。
未来的裁定应链接到官方披露、使用已冻结的标准,并允许复核分歧。准确性和校准性结论需要有充分信息的前瞻性记录支持,同时披露弃权、排除情况与不确定性。
当前可以查验的内容。
研究工作台持续保存数据、任务和上传文件。公开来源采集器执行确定性检索、数值核查与描述性汇总。独立的模型研究起草流程需由获授权人员在服务器端配置。专用预测、独立时间证明及前瞻性结局裁定仍属于规划功能。
打开授权研究工作台预测的信心,
需要接受结果检验。
体验二分类 Brier 评分:选择两个概率,指定示例结局,观察评分变化。
示例输入 · 非模型预测
损失 =(概率 − 结局)²预测 A 在该结果下的损失更低。
评分显示四位小数。单个结果仅用于说明评分规则;评估预测能力需要大量已裁定的前瞻性问题。未决案例不计为失败。