加载失败
本帖围绕一个名为 autoresearch 的实验性项目展开：用 LLM 驱动的代理自动修改训练代码/配置并在单卡、短时间（示例中 5 分钟）和受限 VRAM 下运行微型模型以优化验证指标（val_bpb）。评论在技术细节上讨论了该流程与传统超参数调优（例如 BayesOpt）的差别、代理能否修改代码与采用更高效的顺序搜索策略，以及用 tmux 组织并行“junior agent”会话的沟通架构。多条回复把焦点拉回基础设施与规模问题，建议用 Modal 之类的平台做自动扩容，并提醒在短预算下常得到只有 ~10M 参数的小模型可能无法体现涌现效应。讨论还延伸到代理自动发表/审稿（例如 AdderBoard 里已出现大量 AI 生成提交）与把自动化研究思路应用到机器人或 notebook（Jupyter/Marimo）等其他场景。
评论者认为 autoresearch 展示了把可验证任务放在模拟或受控环境里，通过试错循环由代理完成的趋势。有人描述 LLM 越来越擅长搭建实验环境与撰写 prompt（例如自动补全整个 prompt0n.md 并抽取历史“好片段”来构造新提示）。更激进的观点认为前沿公司将用代理自动化 AI 研究，可能带来递归自我改进甚至超智能的风险；但也有声音提醒，即便技术到位，社会惯性和对受影响群体的保障仍会延缓实际经济冲击，需要提前准备。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6]
不少评论指出仓库中展示的“改进”多为超参数或实验设置的小改动，而非理论性突破：一个明显例子是把随机种子从 42 换到 137 就得到更低的 val_bpb。有人警告这类以单一代理度量（如 val_bpb）为目标的优化会触发 Goodhart 效应，导致表面上性能提升但不带来理解或泛化能力。其他批评包括用付费 LLM tokens 做大量短时实验可能只是“玩好玩”，以及图表用非零基线使成果看起来更显著。
[来源1] [来源2] [来源3] [来源4] [来源5] [来源6]
支持者强调这并非传统的超参数网格搜索：代理能任意修改代码，超参数的概念被拓宽或消解；同时因为代理是顺序决策体，它们可以用二分搜索等效率更高的策略快速收敛而非耗尽并行算力。该流程能实现端到端自动化——从发现问题到改代码再到跑实验和评估无需人工介入；但评论也指出当前 LLM 在开放性研究上偏保守，建议引入“chief scientist + junior agents（在 tmux 会话中并行执行）”的长期规划架构以增强创造性和探索深度。
多条评论把讨论拉回到算力与并发限制：原实验受单卡、5 分钟和 VRAM 限制影响，导致在短时预算下被选出的最佳模型常只有 ~10M 参数，可能无法显现涌现行为。有人提出每当 val_bpb 提升一定比例就自动提升时间/显存限制并使用 Modal 这类平台自动扩容，以更接近人类式的迭代。评论还提醒搜索空间巨大、顶级公司因此大规模购买 GPU，并指出当并发实验增多时简单靠 tmux 轮询会成为瓶颈，需要更像 pub/sub 的协调与反馈机制以避免浪费算力。
有建议让代理自动撰写报告并在平台上发布以实现端到端科研流水线，并举 AdderBoard（训练最小 transformer 完成两 10 位数相加的代码高尔夫竞赛）作为已有大量 AI 生成提交与报告的例子。批评者担心大量 AI 生成的论文/报告会造成“统计垃圾”泛滥，人工核查成本激增；应对方案之一是同样用 LLM 做审稿以形成自动化审查闭环，但这会引入信任、偏差与可解释性的新问题。也有人展示已用 GitHub Discussions 让代理互相读写讨论，表明发表与复现流程正在被部分自动化。
讨论者将 autoresearch 与其他自动化或进化式项目比较，询问与 AlphaEvolve（基于进化算法的自动化研究/演化项目）有何区别，并有人计划把相同思路应用到物理机器人学习（例如 ko-br 的机器人任务）。社区也在探索如何把 autoresearch 思路嵌入交互式笔记本环境（有人问是否存在面向 Jupyter 的实现，并被建议用 Marimo 这类基于依赖重算的 notebook 工具）。另外有评论提到像 Gemini 这样的大型模型也曾提出类似实验想法，说明该方向在不同圈子都有重复尝试。
autoresearch: autoresearch（代理自动设计、修改代码并运行短时训练实验以自动提升模型指标的流程或项目）
val_bpb / bpb: val_bpb（验证集上的 bits-per-byte 度量，衡量语言模型预测/压缩质量，值越低越好；本讨论中作为短时训练的主要优化目标）
BayesOpt: BayesOpt（Bayesian Optimization，基于概率代理模型自动选择下一个超参数试验以高效搜索最优配置，常用作超参调优基线）
tmux: tmux（终端复用器，用于在服务器上并发运行多个会话，讨论中被用来比喻或实际承载多个 'junior agent' 的并行实验会话与日志）
nanograd: nanograd（一个小型自动微分/训练框架，常用于快速原型和教学的极简工具，本讨论里作为示例训练后端出现）
Modal: Modal（一个用于运行与自动扩容计算任务的云平台，评论中被建议用于按性能改进自动放大训练资源以支持更多并发实验）
Goodhart's law: Goodhart's law（指标被当作目标后会失效的现象，即过度优化代理度量可能导致偏离真实目标或产生投机式改进）
harness: harness（训练/评估管线与自动化脚本，负责数据加载、训练循环和度量；评论中提到的 'harness engineer' 指维护这些自动化环境的角色）
AdderBoard: AdderBoard（一个代码高尔夫竞赛，目标是训练最小 transformer 完成两 10 位数相加，讨论中作为已出现大量 AI 生成提交与报告的实例）