Property Finder 修正评测偏差并选模型

Property Finder 发现，其视觉语言模型评测标签中 96.8% 直接来自现有模型的预测，而非人工核验，这使任何替代模型在比较中处于结构性劣势。AWS Machine Learning Blog 发文称，该公司随后构建了无偏的人工标注基准，并用进化式提示词优化在 Amazon Bedrock 上比较模型，最终选出准确率更高、成本低 86% 的模型。 标注流程分两步：最先标注的 256 张阿联酋图像构成开发集，用于调优；最终模型比较的评测集使用全部 356 张，其中 100 张是在开发运行之后才标注的。评测集包含这 256 张开发图像，两个模型的提示词都在这些图像上调优过。 上述成本与准确率数字是截至 2025 年 12 月、美国东部（俄亥俄）区域的估算值。

AI 根据报道生成 · 3 天前更新