微软用合成企业数据评估 Copilot:从模拟租户到首个标准化评测基线
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,全程不使用客户数据。
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,全程不使用客户数据。
Mistral 在公开预览三周后于 Hugging Face 放出 Mistral Large 4 权重,该模型约 1 万亿参数、每步激活 52B,支持文本与图像输入。
谷歌发布Gemini 4 Carbon,在Artificial Analysis智能指数5.0上以59分登顶全球第一,超过Claude Opus 5.5和GPT-6 Astra。
Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon,该模型在 Artificial Analysis Intelligence Index v5.0 上得分 59,高于 Argon 的 50,位列第一。
Artificial Analysis 改版 Intelligence Index 后,Kimi K3.1 Pro 从第 4 名跌至第 9 名,落后于 8 个闭源模型,开源模型与榜首差距从 3 分扩大到 12 分。
Property Finder 发现其评测标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在比较中处于结构性劣势。
Ai2 发布 Old Ideas, Novel Problems 研究,测试 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 六个 LLM 判断研究想法新颖性的可靠性。
爱范儿高强度使用 iPhone Duo 一周后认为,它是第一梯队折叠屏产品,但建议稍晚两个月再买。iPhone Duo 用开合动画、半折系统状态和纳米纹理表层把折叠形态实用化,iOS 27.1 SDK 应用可自动适配,Netflix、《绝区零》等已推出适配版本。不过微信、抖音等高频应用仍在适配中,eSIM 与 Touch ID 也带来妥协。
OpenAI 针对 COBOL、Fortran、Visual Basic 等训练代码稀缺的遗留语言改进了最新模型,并构建 MultiLangBench 与 COBOL 迁移两项评测。
Hugging Face 发布 FairStress 基准,用于衡量 LLM 在招聘、贷款、医疗等决策中的群体公平性,覆盖 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列模型。
DeepSeek-V4.1-Flash-1017 以 1670 分超过 Kimi K3(Max),成为 Code Arena WebDev 榜单排名最高的开源模型,仅落后 GPT-6 Sol(Max)12 分。该模型于 10 月 17 日推出,高峰时段每百万 Token 输入 2 元、输出 8 元,综合成本约为 Kimi K3 的 1/10。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估器并非易事,评估结果的可复现性仍是核心难题,开放权重对复现至关重要。
MiniMax 发布推理模型 M3.1 Flash,在 Artificial Analysis Intelligence Index 上得分 42,比前代 M3 高 13 分,每任务成本不到其一半。
研究者提出 Taste-Bench,用 502 道二选一题目衡量智能体在决策分叉处选择更优路径的能力,最佳模型 GPT-5.6 Sol 平均准确率仅 59.7%,接近随机猜测的 25% 基线。
Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上取得 97.5% 的成绩,成为继 OpenAI 之后第二家跨过 95% 门槛的实验室,成本为 4800 美元。
英伟达 RTX Spark N1X 处理器已随多款笔记本上市,N1X 芯片配备 20 个 CPU 核心与 6,144 个 GPU CUDA 核心,旗舰机型 Surface Laptop Ultra 搭载 128GB 统一内存,售价从 HP OmniBook Ultra 的 $3,199.99 到 Asus ProArt P16 的 $6,999.99。
优必选 Thinker-WM 在 WorldOlympiad、EWMBench、WorldArena1.0 Track-1 三大具身世界模型基准中均拿下第一,WorldOlympiad 综合得分 0.740,EWMBench 总分 4.66,超过 Qwen-RobotWorld、Sora2 等模型。
Elorian 与 Scale AI 发布 Humanity's Sixth Sense 基准,用 522 道题测试多模态模型的直觉视觉推理,人类 pass@1 达 93.1,最佳模型 GPT 6 Astra 仅 53.6,GLM-5.3-flash 为 26.8、Kimi K3 为 25.5。
Microsoft 研究合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中与首席应用科学家 Chad Atalla 讨论评测如何推动 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规测试时出现的"意外失败"。
GitHub 发布代码审查离线基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布构建,包含 19 种语言的 219 个公开 PR 和带严重级别与类别标注的多来源黄金集。