News Hacker|极客洞察

378 63 天前 codewall.ai
🤦AI agent 发现 McKinsey Lilli 未授权 API 与 SQL 注入并疑泄露大量数据
世界级团队两小时被 AI 攻破,领导们怎么解释?

🎯 讨论背景

CodeWall(一家安全研究/博客)发布报告称其 research agent 在无凭证与无人工介入的情况下发现并利用了 McKinsey 的 Lilli(McKinsey 的 AI 平台)若干公开 API,报告提到约 200 个端点中有 22 个无需认证且搜索/聊天输入被写入数据库并出现 JSON key 拼接导致的 SQL 注入等缺陷。创作者还声称 system prompts 与聊天记录同库并列举了可能暴露的海量数据量级,引发社区对实际外泄、滥用风险与取证证据的强烈关注。McKinsey 据媒体回应称在获悉后已修复相关问题,但评论者对披露流程、证据以及研究团队公布动机提出质疑。讨论把视野扩展到 agentic/autonomous agent、prompt injection、RAG 对企业安全模型的冲击,以及咨询公司在长期软件维护与安全治理上的制度性缺陷。

📌 讨论焦点

技术根因:传统 SQL 注入 与 权限缺失

评论技术细节指出本次被利用的更像是经典的 SQL 注入(SQL injection)与授权缺失问题,而非高阶的 prompt injection:具体表现为未认证的 API 将用户提交的 JSON 字段名直接拼接入 SQL,值虽参数化但键名未处理,搜索框输入被写入数据库从而触发注入。社区多次引用报告数据(约 200 个端点、22 个无需认证)并强调 system prompts 与聊天记录被同库存放带来的风险。多位评论者提醒这类“看起来安全”的实现细节在人工代码审查中易被漏掉,但自动化 agent 会系统性地探测所有输入点并迅速触发边界条件,放大后果。

[来源1] [来源2] [来源3] [来源4] [来源5] [来源6]

AI agent 与攻防范式的变化

许多评论把焦点放在 agentic/autonomous agent 对渗透测试与攻击节奏的影响:CodeWall 表示其研究 agent 在无人工介入下自动选择并攻击目标,甚至考虑了目标的 responsible disclosure 策略以“自我限制”。讨论认为这种代理化会把原本依赖人脑的发现流程自动化,加速映射攻击面并放大原本低级的实现错误为重大入侵。还有人指出并不需要特别的黑箱模型——常见 LLM(如 Claude Code、Codex CLI)在默认配置下就能执行高效探测,因此企业应为 AI 工具建立持续化、自动化的安全与验证层。

[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7]

组织文化与治理缺失导致的脆弱性

大量评论将这次事件归因于 McKinsey 的组织与人员管理问题:Lilli 被描述为最初的内部系统,疑因高层推动而暴露到公共网络,而原始开发/维护团队多数已转向客户项目导致长期维护不足。评论详细说明了基于“客户影响”的评审机制如何鼓励短期导向與半成品交付,2024 年的裁员也被认为削弱了内部技术能力,结果是许多产品成为一次性实现且缺乏安全治理。评论还指出咨询公司常以承包商完成实现、把实现与长期维护分离,从而埋下安全隐患。

[来源1] [来源2] [来源3] [来源4] [来源5] [来源6]

披露可信度与潜在数据外泄的担忧

社区对披露过程与证据要求很高:有人质疑 CodeWall 博文的可验证性并要求 McKinsey 或第三方出示取证与修复证明,而媒体(如 The Register)则报道称 McKinsey 在获悉后数小时内修复了问题。评论引用了声称的暴露规模(例如数千万条聊天消息与数十万份文件)并担忧这些内容是否已被第三方或国家级行为者先行获取并滥用。因此讨论集中在应如何通知可能受影响的前雇员/客户、如何进行负责任披露以及需要看到什么样的可核查证据以平息担忧。

[来源1] [来源2] [来源3] [来源4] [来源5] [来源6] [来源7] [来源8]

对 AI 写作与传播风格的元批评

许多评论批评原文及报道的写作风格带有明显的 LLM 风格:短句堆砌、煽动性措辞与所谓的“vibe writing”降低了可读性与可信度。报告作者承认事实性内容部分由 LLM 整理,这引发读者要求公开用于生成的 prompt、或建议聘请技术写手来提高文稿质量和可核验性。评论者认为区分机器生成与人类审校对于安全公告的严谨性至关重要,否则会削弱对严重安全发现的权威评判。

[来源1] [来源2] [来源3] [来源4] [来源5] [来源6]

伦理与商业后果:白帽、营销与数据训练风险

伦理问题在讨论中占据一席:有人指责将白帽发现作为营销素材不当,另一部分人担忧被披露的数据对 frontier AI labs 具有极高的训练价值,可能被用来训练模型或被他人滥用。还有评论呼吁把敏感材料用于调查性新闻以揭示公司内部运作,而不是仅作为攻防演示的噱头。总体上,社区对研究团队公开细节的动机、以及在未完全核实前广泛传播可能带来的商业与安全后果持怀疑态度。

[来源1] [来源2] [来源3] [来源4] [来源5] [来源6]

📚 术语解释

SQL 注入 (SQL injection): 一种利用应用把不受信任输入直接拼接到 SQL 查询中从而执行任意数据库命令的攻击;本事件具体表现为将 JSON 字段名拼接到语句中造成的注入。

prompt injection: 针对 LLM 的攻击技术,通过在输入中注入恶意提示来改变模型行为或诱导泄露敏感上下文/指令,评论中对比了它与传统漏洞的不同风险。

RAG (Retrieval-Augmented Generation): 一种将检索到的外部文档与 LLM 生成结合的架构;评论指出搜索框和 RAG 重用的端点常成为敏感输入点。

agentic/autonomous agent: 由 LLM 驱动、能自主选择目标并执行一系列探测与操作的自动化流程;CodeWall 称其 research agent 在无人工介入下完成目标选择与渗透测试。

responsible disclosure(负责任披露): 安全研究者在公开漏洞前与受影响方协调修复并给出缓冲期的流程;文章提到 agent 有时会选择对方有该政策的目标以规避越界。

Lilli: McKinsey 的 AI 平台/助手(文中为 Lilli),被报告为含公开 API 文档、搜索/聊天功能和与 system prompts 同库存储的数据源。