加载失败
这篇文章讨论前沿 AI 公司（如 OpenAI、Anthropic）为何总把模型描述成“危险到必须害怕”的技术：一方面它们会谈失业、失控和 existential risk，另一方面又借这种危险感吸引投资、媒体和监管注意。评论区把争论分成几派：有人认为这是 Fear, Uncertainty, Doubt（FUD）式营销，靠“太危险”塑造品牌并推动 regulatory capture；也有人认为 AI safety 并非纯噱头，像 GPT-2（OpenAI 早期模型）延迟发布、Anthropic（主打 AI safety 的前沿模型公司）对模型能力和安全的谨慎，确实反映了真实风险。另一部分讨论则把焦点放在更现实的后果上，比如代码与 production systems 的失误、数据泄露、自动化裁员、监控和军事用途，而不是远期的 AGI（Artificial General Intelligence，通用人工智能）或奇点。围绕 Claude Code（Anthropic 的代码代理工具）、LLM（大语言模型）和 open-source models（开源模型）能否被安全部署，讨论进一步延伸到“需要 human oversight 还是 cheap verifier”的工程问题。
不少评论认为，AI 公司把自己包装成“太危险”的存在，本质是在做营销和监管博弈。恐惧能制造 FOMO、吸引投资人和媒体注意，也能为限制 open-source models、争取 regulatory capture 提供理由。还有人说，当模型输出越来越同质化时，“我们太危险了”反而成了最便宜的品牌差异化。甚至把 CEO 塑造成反派式人设，也比普通的产品广告更容易传播。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8] [来源9] [来源10] [来源11] [来源12] [来源13] [来源14]
另一派把 LLM 看成普通软件：没有人类给指令、不给工具权限，它就只是 inert code。subagent、cron job、shell script 这类例子被拿来说明，所谓“自己跑起来”不过是条件执行或工具调用。真正危险的是把它接进 production systems，让它有权限改配置、发命令、连数据库。即使是支持者也承认，随着模型被接上更多权限，人工监督不能省。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8] [来源9] [来源10]
很多人认为最该担心的不是远期奇点，而是 AI 正在制造的现实伤害。评论里反复提到裁员、silent layoff、deepfake、spam、监控、能源和水资源消耗，以及在 police 和 military 场景中的滥用。还有人强调，若 AI 造成误判、歧视或泄露 PII，最终必须由公司里的真人承担法律责任，而不是让模型背锅。也有人主张与其空谈 apocalypse，不如讨论社会 safety net、监管成本和开源替代方案。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8] [来源9] [来源10] [来源11] [来源12] [来源13]
另一部分人认为，AI 安全叙事并不全是装出来的，因为它要同时安抚内部研究员和外部市场。有人提到 OpenAI 曾承诺把 20% 算力投入 safety research，但后来被认为缩水很多，导致一些安全派员工离开。也有人认为 Anthropic 在某些发布和政府合作上确实更谨慎，说明领导层可能既相信风险，也会顺手利用这种话术做融资和招人。于是出现一种双重叙事：对研究员说我们认真对待风险，对投资人说这东西足够危险，值得押注。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8] [来源9] [来源10] [来源11] [来源12]
技术侧的争论集中在 AI 安全和 software security 的边界。有人说 frontier models 在 vuln research 里已经能帮助找 zero-days，但通常需要对每个文件反复跑、用更具体 prompts 和 harness，而不是一句魔法咒语。也有人坚持 LLM 只是概率分布，真正关键是 cheap verifier 和外层验证框架。BBC 被批评把 AI safety 与软件安全混为一谈。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8] [来源9] [来源10]
AGI: Artificial General Intelligence，指具备通用认知和跨任务能力的人工智能。
AI alignment: 让模型目标、行为和人类意图一致的研究与工程问题。
LLM: Large Language Model，大语言模型，核心是根据上下文生成和预测文本。
open-source models: 可公开获取权重或代码、可本地部署和改造的模型。
agentic AI: 能调用工具、分解任务并连续行动的 AI 代理系统。
cheap verifier: 用低成本规则、测试或其他模型检查输出是否正确的机制。