混合架构用线性注意力还是滑窗注意力?复旦创智OpenMOSS团队:我全都要
混合架构用线性注意力还是滑窗注意力?复旦创智OpenMOSS团队:我全都要长上下文已经成为大语言模型重要的基础能力,但长上下文也给模型架构带来了一个现实问题:全注意力能够直接建模任意位置之间的关系,却带来随序列长度显著增长的计算和显存开销;滑窗注意力和线性注意力更加高效,但效果上都存在明显的不足。因此混合架构逐渐成为当前大语言模型设计的主流。
搜索
长上下文已经成为大语言模型重要的基础能力,但长上下文也给模型架构带来了一个现实问题:全注意力能够直接建模任意位置之间的关系,却带来随序列长度显著增长的计算和显存开销;滑窗注意力和线性注意力更加高效,但效果上都存在明显的不足。因此混合架构逐渐成为当前大语言模型设计的主流。
机器人终于不只是知道往哪走,还知道该在哪里停、以什么方向面对目标,甚至停稳之后,就能直接上手干活。
一个冰箱大小的服务器机柜,重量超过一辆皮卡;到 2027 年,它的峰值功率将相当于 65 户家庭同时用电;为了不让它烧掉,每个机柜需要排出的热量相当于 30 台燃气锅炉。
统一多模态模型(Unified Multimodal Models, UMMs)通常为理解和生成分别使用不同的视觉表示:用 ViT 提取理解所需的语义特征,用 VAE 提供生成所需的潜变量。这样一来,同一张图像要以两种 token 进入上下文,视觉上下文随之变长;这种双流接口也不同于视觉-语言模型(VLM)常用的单一视觉流,难以直接沿用成熟的 VLM 预训练流程。
Anthropic确认,Claude Code运行Opus 5.5时通过服务器端推送提示词,允许构建原创游戏但禁止复刻特定现有游戏,用户无法关闭该规则。
在 Cheeky Pint 采访中,OpenAI CEO 山姆・奥特曼称PC闲置内存用于本地AI利用率低且浪费全球DRAM,应将紧缺内存集中到云端AI数据中心,并认为内存厂商扩产保守已使“看不见的手”失灵。
Axiom的AxiomProver用24天将有限单群分类定理(CFSG)形式化,生成4310万行Lean代码,并发现34处重大逻辑偏差、修补不平衡群定理漏洞及证明新定理。
OpenAI发布的GPT-6 Astra在机器人评测中登顶,并凭借跨本体操作、Real-to-Sim、Computer Use及长程任务能力重塑Agent、机器人和AI制药应用,但其速度、幻觉、物理直觉不足及湿实验反馈慢仍构成瓶颈。
Exin Therapeutics让Sonnet 5驱动的AI Agent在人类外科人员操作开颅、持证兽医值守和物理急停保护下完成活鼠脑内给药,而Opus 5.5因坐标偏差拒绝继续移动并坚持不重试。
10月31日苹果中国官网发布新闻稿《Apple 智能即将登陆中国》,宣布国行 Apple 智能首批核心功能11月4日起随 iOS 开发者 Beta 版开放测试,12月随 iOS 27.3 正式版推送,并在 Siri、写作工具和视觉智能接入阿里千问,Siri AI 等下一代功能暂不包含在内。