搜索
Anthropic 开源了基于零知识密码学的 FlashProve，使用户无需获取模型权重即可验证回答确由指定模型生成；该系统已在 4000 亿参数的 Llama 4 Maverick 上达到约 110 Token/s，但仍是受成本和上下文限制的研究原型。
过去一年，编程 Agent 的能力大幅提升，软件工程师对它们的要求也比以往任何时候都高，但上下文窗口的大小却基本停滞不前——一年前，一百万个 token 大致就是最先进的水平，如今依然如此。随着我们逐渐进入 Agent 日常处理 Monorepo（单体仓库）级任务的世界，将越来越多的信息塞进模型那固定的上下文限制中，这种需求已经变成了一项实实在在的全职工程任务。
大模型再强，也躲不过上下文限制的「蕉绿」！MIT等团队推出的一套组合拳——TIM和TIMRUN，轻松突破token天花板，让8b小模型也能实现大杀四方。
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。
作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。