跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

20 条精选近 30 天 18 条共收录 103 条

更新

多模态的精选

10月30日周五第 1–20 条
  1. 量子位74

    国产开源模型OXR登顶三大文档解析榜,1.3B参数靠RSI自进化训练

    国产开源文档解析模型OXR以1.3B参数量在OmniDocBench(97.18)、olmOCR-Bench(87.84)和DocParsingBench(87.76)三个榜单登顶,代码、权重和评测流程全部开源。

    推荐理由:读者可了解1.3B小模型如何靠RSI自进化训练在文档解析三榜登顶,以及可插拔架构带来的部署取舍。

10月29日周四
  1. 量子位76

    Genspark Media Studio 上线视频 Agent 工作台

    Genspark 发布视频 Agent 工作台 Media Studio,接入 20 多家厂商的 70 多个模型版本,由大语言模型担任导演负责写剧本和调度视频、图像、音频模型。

    推荐理由:作者完整实测了从rap视频到短剧的生成流程,读者可据此判断多模型编排的实际产出质量与积分消耗。

  2. Latent Space74

    Google DeepMind 发布 Gemini 4 Carbon,登顶多个榜单并优先开放给网络安全防御方

    Google DeepMind 发布新一代前沿模型 Gemini 4 Carbon,距 Argon 发布约两周,在 Artificial Analysis Intelligence Index v5 上以 59 分排名第一,并领先 HLE-Diamond、TB-Science 等 4 项子评测。

    推荐理由:汇总了 Gemini 4 Carbon 在多个独立榜单上的位置与定价,并列出编码、幻觉率等具体对比数据。

  3. 爱范儿72

    实测即梦短剧工作室:DreamScript、Anycook、DreamShot 串起短剧制作流程

    即梦推出短剧工作室,把剧本创作、角色与场景资产管理、3D 导演台、智能预演、片段重拍和超分等功能放进同一套项目流程。自研剧本模型 DreamScript 可按题材标签直接生成完整剧本,图片模型 Anycook 生成的角色与场景可沉淀为后续镜头反复调用的资产,分镜模型 DreamShot 负责把剧本拆成镜头。

    推荐理由:作者完整走了一遍从剧本到成片再到局部重拍的流程,读者可据此判断这套工作流在哪些环节省掉了重复生成。

10月28日周三
  1. Hugging Face Blog71

    NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2 数据管线

    NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe,将转写、说话人分离、翻译和音频问答整合到一个 checkpoint,支持 40 种语言转写、31 种语言与英语互译、13 种语言说话人标注,可处理最长 1 小时录音、最多 8 位说话人。

    推荐理由:原文给出多语言转写、说话人分离与提示词控制的具体能力,以及配套数据管线和微调配方,便于评估落地方式。

  2. Hugging Face Blog73

    Liquid AI 发布 LFM3 系列:六个 2B 级多模态模型共享同一骨干

    Liquid AI 发布 LFM3 新一代 Liquid Foundation Models,把文本、视觉、音频、omni 和决策模型统一到 2B 参数级的同一骨干上,全部开源权重并已在 Hugging Face 上线。

    推荐理由:Liquid AI 公布 LFM3 系列六个 2B 级模型共享同一骨干,并给出单卡微调与端侧部署路径,可据此判断小模型专用化路线。

  3. Google DeepMind71

    Google DeepMind 发布世界模型 Genie 4

    Google DeepMind 发布世界模型 Genie 4,原生支持多模态,可在生成世界的同时生成音乐、环境音与交互对话。Genie 4 支持用自然语言实时修改场景,并借助 Gemini 3.8 Flash 作为引导智能体拆解多步任务、校验执行进度。

    推荐理由:官方披露了原生音频、实时文本操控与 Gemini 引导推理三项能力,可据此判断世界模型与语言模型结合后的交互形态。

10月24日周六
10月20日周二
  1. 爱范儿78

    VAST 开源实时世界模型 EdenLive,并发布编程智能体 skill EdenGolem

    VAST 开源 Project Eden 系列中的实时生成式渲染器 EdenLive,包含 5B、14B 模型权重(各含双向生成与少步流式生成两个版本)、实时流式推理代码、前端工作台和技术报告。

    推荐理由:VAST 开源实时世界模型 EdenLive 的权重与推理代码,读者可据此了解生成式渲染与上游交互系统分工的架构思路。

10月17日周六
  1. 量子位83

    谷歌发布 Gemini 4 Argon,API 限时半价

    谷歌正式面向全球开发者、企业及付费订阅用户陆续开放 Gemini 4 Argon,主打编程、专业知识工作与长流程任务执行能力。API 首发价为每百万输入 token 2 美元、输出 10 美元,约为 Opus5.5 的一半,优惠截至 11 月 30 日,12 月 1 日起恢复至 4 美元和 20 美元。

    推荐理由:材料给出 Gemini 4 Argon 的评测位次、API 定价与编程、多模态实测案例,可据此判断其与竞品的取舍。

10月15日周四
  1. Hugging Face Blog78

    Meta 发布开源权重多模态 MoE 模型 Muse Spark Open

    Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,上下文窗口最高 100 万 token,可接收文本、图像、音频和视频输入并输出文本。

    推荐理由:原文给出 816B 总参数、42B 激活的 MoE 架构与多模态输入细节,并附 vLLM、SGLang、llama.cpp 部署和 TRL 微调配方。

10月14日周三
  1. Google DeepMind80

    Google DeepMind 发布 Gemini 4 Argon 机器人模型

    Google DeepMind 发布 Gemini 4 Argon,主打物理理解、代码生成与视觉语义推理,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,称超过其他前沿模型。

    推荐理由:原文给出 Argon 在 ERQA 上的分数与四类机器人工作流示例,可据此判断物理推理模型在机器人栈中的落点。

  2. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业和消费者开放,API 定价为每百万输入 token 2 美元、输出 token 10 美元。

    推荐理由:官方披露了 Argon 在编码、科研与安全对齐上的具体案例和基准表现,可据此判断前沿模型在长程任务上的能力边界。

10月13日周二
10月6日周二
  1. Mistral AI78

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数原生多模态模型

    Mistral 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、520 亿激活参数的原生多模态模型,权重将于本月底开放。官方称其在编码、智能体工作流和多模态理解上可与全球最强开源模型竞争,在视觉定位等部分领域超过前沿闭源模型。模型在 3800 块 NVIDIA Grace Blackwell GPU 上从零训练,训练数据覆盖 160 多种语言。

    推荐理由:Mistral 官方给出 ML4 的参数量、多模态与智能体编码基准,并说明权重月底开放,可据此判断开源前沿模型的竞争位置。

9月10日周四
  1. DeepSeek 更新日志73

    DeepSeek 发布 DeepSeek-V4.1-Flash 模型

    DeepSeek 正式发布 DeepSeek-V4.1-Flash,这是其全新模型结构系列中尺寸最小的模型,具备原生多模态视觉理解能力。该模型已同步上线 DeepSeek API,将模型名改为 deepseek-flash 即可调用,API 价格同步下调;旧版 V4 Flash 与 V4 Flash Vision Exp 已下线,旧模型名暂时路由到 V4.1 Flash。

    推荐理由:官方更新日志给出新模型的评测分数、API 调用方式和价格下调,可据此判断替换旧版的成本与迁移路径。

8月21日周五