加载失败
一次被WSJ报道的对比测试（引用斯坦福研究者的设置）展示了名为Artemis的AI渗透bot在所比的10名网络渗透测试员中击败了除1人之外的其他人，并且运行成本被报道不到$60/小时，但同时存在约18%的假阳性率且漏掉了一个明显的网页漏洞。评论把此事放在更长的背景里讨论：渗透测试自动化已有约20年探索，network pentesting在很多场景下已高度流程化，而web/app渗透与新型漏洞发现仍更依赖人工判断。讨论还涉及实际工程化做法：开发者在构建带short/med/long memory的SDK、knowledge graph/RAG和orchestrator以支持多agent协作，并用Triager或双agent流水线来做报告验证。整体争论集中在agent带来的速度与成本优势与误报/复现不足导致的风险之间。
多位评论指出渗透测试领域已有近20年的自动化尝试，特别是network penetration testing（netpen）在很多场景下已经高度流程化并可用工具完成。评论者预计agent平台会在中短期内接管大量例行化任务，有人甚至预测行业标准的netpen很快会是90%+ agent-mediated。WSJ引用的Artemis案例被用来说明速度与成本优势：运行成本不到$60/小时，而文章中对人工渗透测试的收费被报为$2,000–$2,500/天，从经济角度突显agent方案的吸引力。多位评论还认为这种优势将逐步扩展到web应用测试和源码审计等可流程化的检测环节。
评论强调自动化带来的误报与漏报仍是实务中的重大问题：WSJ报道Artemis约18%的报告是假阳性，并且漏掉了一个大多数人类测试者能发现的明显网页漏洞。其他评论补充说netpen领域本就常见高误报率，历史静态分析工具（如HP Fortify）也曾产生大量假阳性，导致安全团队把大量输出当噪声处理而缺乏实际改进。因此大量日常infosec工作本质上是triage（分级与验证），人工复核、复现漏洞和上下文判断仍然是降低误报、发现显而易见问题的关键。
评论中提到的现实做法是用多agent分工：一个agent负责发现并生成漏洞报告，另一个作为验证者（Triager）以不同的system prompt和“新鲜上下文”尝试复现并确认漏洞，目的是降低假阳性率。文中论文也使用了Triager，但实践显示即便有复现模块也不能完全消除误报，验证失败和漏检仍存在。有人指出业内AI渗透公司正采用报告生成+验证的双agent流水线，并结合SDK、orchestrator、knowledge graph/RAG与多尺度记忆来让agent协同工作，但这些工程化手段在准确性和复现性上仍有局限。
评论强调不同渗透测试子领域对自动化的适配度不同：network pentesting（netpen）以端口、服务和配置扫描为主，较易流程化和工具化；而app pentesting（web application testing）侧重业务逻辑与代码层面，涉及新颖漏洞发现通常需要人工判断。尽管有观点认为发现novel exploits仍是人类强项，但也有评论者乐观预测web应用测试在2–3年内会大幅被agent化。因此是否由AI替代并非一刀切，而应按具体子领域和任务类型评估。
有评论者自述正在构建一个agentic hacking framework，包含带短/中/长期记忆的SDK、knowledgegraph/RAG、可扩展的tools/plugins和一个orchestrator，目的是把个人15+年appsec及bug bounty经验编码成可复用agent。作者邀请社区试用并提出批评，反映出从业者正在以工程化方式把安全流程自动化并尝试解决协同与记忆问题。该实践说明即便围绕准确性有争议，业界与个人仍积极迭代工具链以把常规渗透流程交给agent处理。
agent / agentic framework: 以自主循环（planning→execution→observation）运行的智能体或智能体集合，用于自动化渗透测试任务、调用外部工具并生成报告，通常由SDK、插件和orchestrator协调多agent协作。
RAG (Retrieval-Augmented Generation): 检索增强生成：在生成式模型中动态检索外部文档或知识片段以补强事实性和上下文，常用于让agent在缺乏内置知识时引用最新资料。
Triager: 在漏洞发现流水线中负责验证与复现的模块或agent，通常以不同prompt或新环境重现漏洞以减少假阳性并提高报告可信度。
network penetration testing (netpen): 网络层渗透测试，聚焦对端口、服务、网络配置和基础设施的扫描与利用，属于较易流程化和工具化的渗透测试子领域。
application penetration testing (app pentesting / web app testing): 应用层渗透测试，针对具体网络应用、业务逻辑和代码漏洞进行深入测试，通常需要更多人为洞察以发现新颖逻辑或条件竞争等复杂漏洞。
agent memory (short/medium/long): agent框架中的多尺度记忆策略：短期记忆保存当前会话上下文，中期记忆保存近期交互或中间结果，长期记忆记录历史发现与策略以支持跨会话决策与知识沉淀。