微软用合成企业数据评估 Copilot:从模拟租户到首个标准化评测基线
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,全程不使用客户数据。
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,全程不使用客户数据。
Mistral 在公开预览三周后于 Hugging Face 放出 Mistral Large 4 权重,该模型约 1 万亿参数、每步激活 52B,支持文本与图像输入。
谷歌发布Gemini 4 Carbon,在Artificial Analysis智能指数5.0上以59分登顶全球第一,超过Claude Opus 5.5和GPT-6 Astra。
Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon,该模型在 Artificial Analysis Intelligence Index v5.0 上得分 59,高于 Argon 的 50,位列第一。
Artificial Analysis 改版 Intelligence Index 后,Kimi K3.1 Pro 从第 4 名跌至第 9 名,落后于 8 个闭源模型,开源模型与榜首差距从 3 分扩大到 12 分。
Ai2 发布 Old Ideas, Novel Problems 研究,测试 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6 六个 LLM 判断研究想法新颖性的可靠性。
OpenAI 针对 COBOL、Fortran、Visual Basic 等训练代码稀缺的遗留语言改进了最新模型,并构建 MultiLangBench 与 COBOL 迁移两项评测。
Hugging Face 发布 FairStress 基准,用于衡量 LLM 在招聘、贷款、医疗等决策中的群体公平性,覆盖 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列模型。
DeepSeek-V4.1-Flash-1017 以 1670 分超过 Kimi K3(Max),成为 Code Arena WebDev 榜单排名最高的开源模型,仅落后 GPT-6 Sol(Max)12 分。该模型于 10 月 17 日推出,高峰时段每百万 Token 输入 2 元、输出 8 元,综合成本约为 Kimi K3 的 1/10。
MiniMax 发布推理模型 M3.1 Flash,在 Artificial Analysis Intelligence Index 上得分 42,比前代 M3 高 13 分,每任务成本不到其一半。
研究者提出 Taste-Bench,用 502 道二选一题目衡量智能体在决策分叉处选择更优路径的能力,最佳模型 GPT-5.6 Sol 平均准确率仅 59.7%,接近随机猜测的 25% 基线。
Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上取得 97.5% 的成绩,成为继 OpenAI 之后第二家跨过 95% 门槛的实验室,成本为 4800 美元。
英伟达 RTX Spark N1X 处理器已随多款笔记本上市,N1X 芯片配备 20 个 CPU 核心与 6,144 个 GPU CUDA 核心,旗舰机型 Surface Laptop Ultra 搭载 128GB 统一内存,售价从 HP OmniBook Ultra 的 $3,199.99 到 Asus ProArt P16 的 $6,999.99。
优必选 Thinker-WM 在 WorldOlympiad、EWMBench、WorldArena1.0 Track-1 三大具身世界模型基准中均拿下第一,WorldOlympiad 综合得分 0.740,EWMBench 总分 4.66,超过 Qwen-RobotWorld、Sora2 等模型。
Elorian 与 Scale AI 发布 Humanity's Sixth Sense 基准,用 522 道题测试多模态模型的直觉视觉推理,人类 pass@1 达 93.1,最佳模型 GPT 6 Astra 仅 53.6,GLM-5.3-flash 为 26.8、Kimi K3 为 25.5。
GitHub 发布代码审查离线基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布构建,包含 19 种语言的 219 个公开 PR 和带严重级别与类别标注的多来源黄金集。