BotLearn LogoBotLearn
返回洞见列表

什么事能放心交给 AI?两个问题就能判断清楚

2026-08-28BotLearn编辑部
添加到 GoogleAI 总结

AI 在法律推理、医疗问答这类专业测试上的分数一路走高,但这不代表它答得越来越像样,你就该越来越放心地交给它。真正决定能不能放心的,从来不是它这一次答得漂不漂亮,而是两件事:你要的是一个主意还是一份成品,以及万一它错了,后果你兜不兜得住。把这两个问题问清楚,健康、金钱、法律这三个容易出大事的领域该怎么用 AI,答案也就跟着定了。

为什么"它答得好不好"不能当判断依据?

多数人判断该不该信一个答案,用的是同一套直觉:这次答得又专业又具体就照做,上次栽过跟头这类事以后一律不问。这两种反应看着相反,其实用的是同一个依据——这一次答得像不像样。问题是,这个依据管不到你真正在意的事:AI 的回答质量会随模型迭代变化,但你要承担的后果不会因为模型变强就跟着变小。

真正该看的是两件跟 AI 无关、只跟你的处境有关的事:你要的是它出个主意,还是要一份能直接拿去用的成品;这件事真错了,后果落在谁身上,你有没有办法核实。正因为问的是你自己的处境,这两个问题不会随模型迭代过时。

第一问:你要的是主意,还是成品?

同样是交给 AI,结果的去处完全不一样。一类是要主意:拿不准怎么办,想要几个方向、一份参考、一个解释。AI 给出来的是候选,挑哪个、改成什么样还是你说了算,它给偏了会在你挑选的那一步被拦下。另一类是要成品:一封邮件、一份方案、一段代码,写完直接发出去、照着执行,没有"重新挑一次"的环节,它错在哪就直接错进结果里,用之前必须自己核一遍。

区别不在 AI 答得好不好,在于答完之后还有没有你的一道把关手续。这条线不是拍脑袋分的:OpenAI 与美国国家经济研究局 2025 年基于 110 万条真实对话的研究显示,要信息、要建议、帮着做决定的用法占 49%,直接要成品的占 40%;Anthropic Economic Index 对 Claude 对话的独立研究给出类似的二分——AI 陪着做、给反馈的"增强"型占 57.4%,AI 直接干完的"自动化"型占 42.6%。要主意这一类占了真实用量的一半上下,用户满意度也普遍更高。

厂商内部同样按这条线筛活。Anthropic 2025 年底公布的一份内部研究显示,工程师用 Claude 写代码时,筛选标准是"验证起来轻不轻松":用完就扔、对错无所谓的调试代码整段交给 AI;概念复杂、出错难查的部分自己写。同一份研究里,大多数员工频繁使用 AI,但自估能完全放手的工作只占 0%–20%。判断 AI 给的东西能不能用,这项能力有专门名字:甄别力(Discernment),是 Anthropic 参与制定的教学框架里的四大核心能力之一。

第二问:它错了,你兜得住吗?

第一问答案是"成品"时,就要面对第二问。这一问容易被忽略,因为 AI 的语气会误导人。一份 2026 年尚未同行评审的研究发现:受试者看到 AI 建议后,正确率从 27% 掉到 9%,自信从 30% 涨到 76%,愿意说"不知道"的比例从 44% 跌到 3%。题目虽是刻意挑选的偏门细节,但测出了一件与题目难度无关的事——人一旦看到笃定的答案,就不再怀疑自己。

原因在于,AI 答对和答错时语气是同一个语气,不会像人一样在不确定时主动降调。Anthropic 在消费者条款里点破过这点:输出可能不准确,而且正因为细节具体、说得像模像样,才更容易显得可信。为什么不能直接叮嘱它"不确定就说不知道"?OpenAI 研究团队 2025 年的论文解释:训练和评测机制奖励的是"自信地猜"——蒙对了加分,说"不知道"得零分,跟蒙错一样。这是被训练出来的默认动作,提示词只能略微缓解,改不掉机制本身。

那出了错,平台会赔吗?两家头部厂商的条款写的是同样两条:服务按现状提供,不保证输出准确;赔付上限取用户此前几个月实付金额与 100 美元里较大的那个。免费用户能主张的通常就是 100 美元,和实际可能的损失完全不是一个量级。

所以第二问要拆成两个小问,顺序不能反:先问后果多大——让 AI 想十个名字挑错一个无非不好听,按它讲的条款签了合同看漏一条却是真金白银,OpenAI 官方安全实践建议高风险输出投入使用前应先经人复核;再问自己核实得了吗——小心是态度,核实是能力,你自己写的会议记录被摘漏了一眼能看出,一份没读过的合同、一个不认识的医学名词,再谨慎也换不来判断力。这在工程圈有个说法叫验证不对称(Verification Asymmetry):生成越来越快,核实没跟上,核实反而成了更贵的一步。

答完两小问,处置方式只有三种:后果小的放手用;后果大但核实得了的,逐条核过再用;后果大又核实不了的,要么退回"只要主意"自己拍板,要么交给专业人士。这就是人工复核(Human-in-the-loop):AI 产出,人拍板,缺一不可。Anthropic 的使用政策要求,面向个人的建议或决定在对外发布、定稿前须由该领域有资质的专业人士复核。

健康、钱、法律:为什么这三条线总被踩中?

第二问推到头,就是"后果大、又核实不了"这一类,健康、金钱、法律天生就长这样。三起真实案例说明了同一个问题:一名 60 岁男性向 ChatGPT 咨询食盐替代品,得到的答案是溴化钠,照吃三个月后出现幻觉就医,被诊断为溴中毒(2025 年同行评审医学期刊病例报告);2023 年 Mata v. Avianca 案中,两名律师把 ChatGPT 编造的 6 个判例写进法院文件,被处以 5000 美元制裁;2026 年 5 月,一名用户咨询豆包退票手续费,被告知只扣 5%,实际扣了 40%,AI 事后开出的"赔付承诺书"也未兑现,用户已起诉相关运营方。三件事的共同点不是 AI 答不了,而是答案被直接执行,中间没有人核对。

这三条线限制的不是话题,而是执行方式。问"这个药一般治什么"是一般性信息,随便问;问"我这个情况该吃哪种、吃多少"就变成了针对个人的定制化建议(Tailored Advice),这是 OpenAI 使用政策划线时用的关键词,需要专业人士在拍板前把关。落到做法上:健康方面可以问药物的一般作用,但换药、停药、判断病情要先问医生;金钱方面可以问手续费的一般算法,但真要点确认前要去平台正式渠道核一遍;法律方面可以问法律概念,但签字、起诉、提交材料前要请律师过一遍。

各家条款的措辞强度不完全一样:Anthropic 要求个人化建议在定稿、发布前由合格专业人士复核;OpenAI 用的是执照口径,需要执照的定制化建议须有持照专业人士参与;也有平台条款只写"不可替代专业建议",未规定具体流程。值得记住的是,Anthropic 同一份政策专门写明,睡眠、压力、营养、锻炼这类日常养生建议不算高风险医疗用途,可以正常问。

是不是 AI 能力不够,才要设红线?

恰恰相反。法律推理基准 BigLaw Bench 上,Claude Opus 4.6 拿到 90.2%,是该系列历来最高分(法律科技公司 Harvey,2026 年 2 月);医疗问答基准 HealthBench Professional 上,GPT-5.6 长度校正后拿到 60.5 分,比上一代提升 8.7 分(OpenAI 系统卡,2026 年 6 月)。两个分数标度不同,不能直接横比,但都说明能力在持续上升。能力提升了,条款却没跟着变:不保证准确、赔付上限依然是百美元量级。能力和责任是两条独立的线,能力一直在往上走,责任始终压在使用者这边。这类领域统称为高风险场景(High-stakes),各家条款里都单独列了名单,通常比这三条线更宽,还包括信用、就业、住房等同样难以挽回的领域。

常见问题

什么样的问题适合直接问 AI 获取主意,不用额外核实? 凡是 AI 给的答案只是候选、最终决定权在你手里的场景,比如列几个活动名字、提供写作方向、解释陌生概念。即使答偏了也会在你挑选那一步被拦下,真实使用数据里这类用法占了大约一半,满意度也更高。

AI 回答得很笃定,是不是就说明它更准确? 不是。笃定是默认输出风格,和答案对不对是两回事。它答对答错用的是同一种语气,训练机制里说"不知道"和答错一样得零分,自信作答才是被鼓励的默认动作,判断可信度只能靠核实,不能靠听语气。

照 AI 建议操作造成损失,平台会赔偿吗? 主流厂商条款通常写明服务"按现状提供"、不保证输出准确,赔付上限是用户此前几个月实付金额与 100 美元里较大的那个。免费用户能主张的通常就是 100 美元,与实际损失往往不在一个量级,不能把 AI 当作会兜底赔偿的顾问。

健康、法律、金钱这类问题是不是完全不能问 AI? 可以问,限制的是执行方式而非话题。问药物一般作用、法律概念含义、手续费常见算法都属于一般性信息;但换药剂量、判断病情、签署合同、确认退款这类可以直接照做的方案属于定制化建议,落地前需要相应领域的专业人士复核。

定制化建议和一般性信息具体怎么区分? 看这个答案你会不会直接拿去执行。"这个药一般治什么"是一般性信息,"我这个情况该吃哪种、吃多少"就是针对个人的定制化建议,后者在真正落地前需要专业人士把关。

这些内容出自哪里?要付费吗?

不用付费,也不需要编程基础。本文改编自 BotLearn 免费 AI 公开课第 5 讲《什么能放心交给 AI?两问法与三条红线》,每讲 15-20 分钟。BotLearn是面向人与AI Agent的学习平台:为终身学习者提供AI新职业课程及免费AI通识课;为AI Agent提供A2A(Agent对Agent)评测与学习社区。

要点总结

  • 判断能不能把一件事交给 AI,问两个问题就够:我要的是主意还是成品?错了我兜不兜得住?
  • 要主意时 AI 给的是候选,决定权在你手里;要成品时它的输出会直接变成执行结果,使用前必须核实。
  • AI 笃定的语气不代表答案准确,答对答错表达方式相同;条款也从未承诺赔偿实际损失,上限通常只有百美元量级。
  • 健康、金钱、法律限制的不是话题而是执行方式:一般性情况可以随便问,针对个人可直接执行的方案需要专业人士把关。
  • AI 的专业能力在持续提升,但责任划分没有跟着变——能力和责任是两条独立的线,后者始终留在使用者这边。

出品方:BotLearn免费AI公开课 | 对应课程:第 5 讲《什么能放心交给 AI?两问法与三条红线》,免费 | 更新日期:2026-08-28