加载失败
这次“Car Wash”测试用同一强制二选题（"I want to wash my car. The car wash is 50 meters away. Should I walk or drive?"）对约 53 款模型与 10k 人的 Rapidata 快速问卷做比较，Rapidata 报告 71.5% 的人选“drive”。讨论集中在：这是暴露模型推理缺陷的简单基准，还是仅仅揭示了提示工程、采样随机性与语用歧义的问题。评论反复提到模型家族（如 Sonnet/Opus/Gemini/Claude）、是否启用“thinking/extended reasoning”、记忆/系统预提示、RAG（检索增强生成）等运行时因素都会改变答案，因此单次比较与未说明配置的基线容易误导。讨论里还提出工程性缓解（澄清问题为合法答案、低温度多次采样、共识层与约束校验）作为更实际的改进方向。
大量评论认为模型失败很多源自提示的语义缺口与语用歧义，而非模型“不会推理”。Rapidata 的 10k 人样本给出 71.5% 选择“drive”，这被解读为人类在无上下文时也会有不同解读；评论引用 Grice 式会话原则说明人类在面对看似明显的问题会假定提问者另有隐情，从而把“walk”视为合理选项。评论中列举具体情境（汽车已在洗车处、代客泊车、多辆车或只是去买洗车用品）来说明“walk”并非逻辑上全错。许多评论因此支持先问澄清问题（例如“你的车在哪？”）再给出结论。
评论和实测证明微小的提示改写或上下文顺序变化能显著改变模型回答：把句子顺序改为“车洗店在 50m，我想洗车”、在开头说明“你正被测试”、在结尾标注“Hint: trick question”或明确要求“use symbolic reasoning”，都能把很多模型从“walk”拉回“drive”。具体案例包括 Sonnet/Opus 在句序或“thinking/extended reasoning”开关下表现不同，本地运行的 gpt-oss 在被标注为陷阱题时恒对，某些服务的记忆/系统预提示会隐性注入信息并改变输出。结论是该评测在很大程度上暴露了提示工程的脆弱性与分布先验敏感性，而不是单纯证明模型完全缺乏推理能力。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7]
多人质疑 Rapidata 所给的人类基线的代表性与质量：实验是强制二选一（forced choice）、没有要求被试给出理由、且样本通过微任务嵌入移动应用（作者与回复提到像 Duolingo、游戏等作为 opt-in 广告替代），这种激励和采样结构容易产生随手点选、恶搞或自动化响应的噪声。评论里有人直接怀疑部分“walk”回答来自不认真作答的用户或脚本，或至少含有语言障碍与低努力误差。由此观点认为把该 71.5% 基线直接当作“人类理性参照”是不够谨慎的，需更多质量控制与理由数据。
讨论强调一个更实际的危害：模型在重复抽样时的不稳定性（例如同一模型多次运行会出现 7/10 或 3/10 的正确率波动）比一次性恒错更令人担忧。多条评论建议把问题视为可靠性工程：在生产里不应把单次样本当最终决策，而应允许模型请求澄清、做多次低温度抽样、用共识或约束校验剔除不符合目标的输出。有人提出具体流程（提取目标状态、断言约束、剔除违反约束的答案并用 RL 微调“决策账本”）以降低这种方差带来的风险。
部分评论把“错选 walk”归因于训练语料中的模式匹配与社会价值偏向：短距离样本中“walk→环保/省油/锻炼”在语料里权重很高，模型往往输出符合社会期望的理由，而不是把“需要把车进行移动”的目标放在首位。另有评论指出 alignment/奖励机制让模型不愿直接质疑用户前提，宁可给出礼貌或讨喜的答案。极端案例包括某些模型用卡路里或 EPA 报告来组装荒谬的论证链（理由古怪但最后可能得出正确结论），这暴露了可解释性与信任的问题。
许多评论指出不同模型家族/版本、量化等级与运行配置（是否启用 thinking/extended reasoning、memory/预提示、temperature）会直接改变结果：有人称 GPT‑5.2 在“thinking”或高推理努力时 10/10 正确，而默认/量化/mini 变体或有记忆注入的会失败；Sonnet 与 Opus 在不同版本间表现反复，Gemini 的小型号在某些测试上意外表现优异。评论因此强调任何比较都应明确列出模型版本与推理开关，否则易产生误导性结论。
多条评论给出可操作改进：把“需要更多信息/澄清”作为合法答案加入评测、在评测集中加入上下文变体与对抗提示以测鲁棒性、将 RAG（检索增强生成）与网页摘要结果纳入比较以验证事实链条。另有建议把陷阱题标准化为一组可复用的逻辑陷阱以检测“分布偏差上的模式匹配”，并在系统层面采用低温度多样化采样、约束校验与简单投票/共识来提升可靠性。这些观点倾向于通过评测与运行时架构改进快速提升实用可信度，而不是单纯期待模型根本性重构。
LLM (Large Language Model): 基于 Transformer 的大规模语言模型，用海量文本训练以预测下一个 token（标记）。讨论中用以指代 Sonnet/Opus/GPT/Gemini 等家族，强调其基于统计先验而非符号化推理的本质。
RAG (Retrieval-Augmented Generation): 检索增强生成：在生成时向外部文档或搜索引擎检索相关证据并将其并入上下文，以弥补训练语料盲区或提供最新事实。评论提到搜索/检索能在某些情况下直接给出正确解释。
Chain‑of‑Thought / reasoning tokens: Chain‑of‑Thought（CoT）指显式让模型输出中间推理步骤的技术，也被称为“思考代币”或 reasoning tokens。评论里讨论这类长推理输出既能提高正确率又会消耗大量 token。
Prompt engineering: 通过改写提示词、调整上下文顺序或加入特定指令来显著改变模型行为的技术流派。该讨论里大量例子显示小的提示改动能够翻转模型答案。
Quantization（量化）: 把模型权重用更低精度表示以减小模型大小与推理成本的技术。评论中有人把不同表现部分归因于量化或被降级的推理子集。