跳转到内容

Automation Bias Mode Confusion Oversight Continuity

来自Human Infra Wiki
域 ID domain.automation-bias-mode-confusion-oversight-continuity
C 层级 C3
研究对象 Automation Bias Mode Confusion Oversight Continuity
持续性作用 关键词显示该域主要增强认知、学习、工具、AI、技能或沟通能力。
证据状态 待审查
仓库路径 domains/c3-generation-engine/automation-bias-mode-confusion-oversight-continuity


Automation Bias Mode Confusion Oversight Continuity是 Human Infra 对“Automation Bias Mode Confusion Oversight Continuity”建立的稳定研究域;其对象边界由仓库材料界定为:Automation Bias Mode Confusion Oversight Continuity 研究自动化偏误、模式混淆、过度信任、监控失败和人类监督边界如何影响 AI、软件、设备和自动化系统的安全使用。[1]

研究对象与边界

[编辑 | 编辑源代码]

本页只描述一个稳定对象:Automation Bias Mode Confusion Oversight Continuity。它不等同于单一产品、个体方案或既成疗效;同名活动若具有不同对象、终点或治理责任,应另建页面而不是合并结论。

  • Automation bias、mode confusion、overreliance、underreliance、human override、supervisory control、human-in-the-loop 和 meaningful human oversight。
  • AI 助手、临床决策支持、自动驾驶、航空自动化、工业控制、RPA、个人自动化和代理系统。
  • 自动化如何改变情境感知、责任归属、异常处理、技能退化和风险传播。

C 层级与对主体持续性的作用

[编辑 | 编辑源代码]

本域位于 C3:可能性生成引擎层。通过提高认知、学习、工具或科学发现能力扩大未来行动集合,属于能力复利而非直接延寿证明。

原域给出的持续性作用为:关键词显示该域主要增强认知、学习、工具、AI、技能或沟通能力。。在证据上必须区分直接作用、间接作用和条件保障;除非出现预先定义的生存、功能、风险或连续性终点,不能把过程完成或机制合理性写成“实现有效永生”。

关键变量、机制链与状态变化

[编辑 | 编辑源代码]
  • 自动化等级、当前模式可见性、置信度表达、可解释性、人工覆盖、异常处理、回滚和审计日志。
  • 用户校准、技能退化、依赖程度、误用、漏用、责任归属和失败恢复时间。
  • 把人类监督写成形式主义、让人承担不可监督责任、用 AI 输出替代专业判断的风险。
Automation Bias Mode Confusion Oversight Continuity
  -> 改变上述可测变量与约束
  -> 改变主体能力、载体状态或外部路径可达性
  -> 改变失败率、恢复时间、资源消耗或不可逆损失风险
  -> 只有在适用对象与时间窗内改善最终功能/生存/连续性终点,才支持持续性收益

反向解释同样必要:变量变化可能只是相关、测量偏差或代理终点变化,不能自动归因于该域中的某项干预。

主要技术或治理路线

[编辑 | 编辑源代码]
  • 定义对象、适用人群、情境和时间窗;
  • 建立可测变量、基线、对照和失败阈值;
  • 比较预防、修复、替代、制度或信息路线,并把副作用与机会成本纳入。

路线比较至少要记录前置依赖、可验证终点、失败阈值、替代路线和退出条件;未来路线一律按“条件性”处理,不写虚假实现年份。

上下游依赖与替代路线

[编辑 | 编辑源代码]

上游或高层约束:

下游技术或相邻对象:

若主要路线不能达到最终终点,应比较风险预防、损伤修复、功能替代、流程改造、社会支持或退出/转介等替代方案,而不是以增加复杂度代替证据。

当前证据状态与验证终点

[编辑 | 编辑源代码]

2026-07-25 结构化审查完成;原域材料没有外部 Source Signals。当前只有仓库对象定义和问题分解,科学、医学、工程、法律或社会效果均属证据不足。

最低验证要求是:明确适用对象、基线、对照、时间窗、测量误差和预注册终点;同时报告不良结果、失败案例和分布差异。过程指标只能证明过程发生,不能单独证明主体风险下降。

反证条件:若在合格设计中未改善预设最终终点、净风险上升、效果不能重复、只在不相关模型成立,或依赖不可接受的资源与治理假设,则应降低本域路线的证据等级。

失败模式与治理边界

[编辑 | 编辑源代码]
  • 对象漂移:把多个不同对象、场景或人群混成一个平均结论。
  • 代理终点替代:把点击、完成率、分子指标、短期性能或局部成功当作长期净收益。
  • 因果越界:把相关性、机制合理性、体外/动物结果、早期临床或预测模型写成已证实的人体效果。
  • 可达性失败:技术存在但人员、成本、供应链、法律、基础设施或维护使其不可用。
  • 风险转移:局部风险下降但把负担转移给其他器官、家庭、群体、时间段或公共系统。
  • 本页不提供个体诊断、治疗、用药、寿命预测、法律决策或危险实验操作建议。

开放问题

[编辑 | 编辑源代码]
  1. 哪个最终终点最能代表本域对主体持续性的真实贡献?
  2. 哪些变量是因果中介,哪些只是相关指标或记录偏差?
  3. 效果在不同人群、地区、资源水平和长期时间尺度上是否可重复?
  4. 何种失败阈值应触发暂停、替代、转介或治理升级?
  5. 本域与相邻页面的边界是否足够稳定,是否仍存在需要拆分的对象?

仓库研究材料(保留)

[编辑 | 编辑源代码]

以下内容来自受治理的 Human Infra 域 README,用于保留项目问题分解和历史语境;其中外部事实仍以证据页为准。[2]

仓库概述

[编辑 | 编辑源代码]

Automation Bias Mode Confusion Oversight Continuity 研究自动化偏误、模式混淆、过度信任、监控失败和人类监督边界如何影响 AI、软件、设备和自动化系统的安全使用。

核心问题:工具越强,主体越需要知道它在什么模式、能做什么、不能做什么,以及何时必须接管。

研究对象

[编辑 | 编辑源代码]
  • Automation bias、mode confusion、overreliance、underreliance、human override、supervisory control、human-in-the-loop 和 meaningful human oversight。
  • AI 助手、临床决策支持、自动驾驶、航空自动化、工业控制、RPA、个人自动化和代理系统。
  • 自动化如何改变情境感知、责任归属、异常处理、技能退化和风险传播。

先验链路

[编辑 | 编辑源代码]
主体越来越依赖自动化和 AI 扩展能力
  -> 自动化会改变谁感知、谁判断、谁行动、谁负责
  -> 过度信任、模式混淆或接管失败会制造新的错误路径
  -> 工具从能力放大器变成风险放大器
  -> 主体行动质量、信任、责任和未来选择权受损
  -> 因而自动化监督是主体持续性的工具共生安全层

关键变量

[编辑 | 编辑源代码]
  • 自动化等级、当前模式可见性、置信度表达、可解释性、人工覆盖、异常处理、回滚和审计日志。
  • 用户校准、技能退化、依赖程度、误用、漏用、责任归属和失败恢复时间。
  • 把人类监督写成形式主义、让人承担不可监督责任、用 AI 输出替代专业判断的风险。

证据入口

[编辑 | 编辑源代码]
  • NIST AI Risk Management Framework。
  • Guidelines for Human-AI Interaction。
  • FAA/NASA automation and human factors literature。
  • FDA / clinical decision support and human factors safety materials。

非目标

[编辑 | 编辑源代码]
  • 本域不提供自动驾驶、医疗、金融、法律、安全或工业控制的部署建议。
  • 不提供绕过人工审核、制造伪监督、责任转嫁、模型规避、提示攻击或自动化滥用方法。
  • 不收集模型日志、用户隐私、生产系统配置、安全事件、临床/法律/金融个案或敏感业务数据。

上下游

[编辑 | 编辑源代码]
  • 上游:ai-agency-safety/model-cards-ai-audit-documentation/human-factors-ergonomics-task-system-continuity/
  • 下游:personal-automation-integration-workflow-continuity/safety-critical-software-formal-methods/knowledge-graph-ontology-semantic-interoperability/

证据路由

[编辑 | 编辑源代码]

相关词条与外部知识路由

[编辑 | 编辑源代码]