Optima平台支持用户用自有数据定制AI基准测试
结论前置 / TL;DR
人工智能分析公司Artificial Analysis推出Optima平台,允许用户基于自身数据和工作流构建定制化AI基准测试。该平台不仅评估模型质量,还综合衡量单任务成本与耗时,尤其适用于基于智能体的应用场景。
自有数据驱动的定制化基准测试
Artificial Analysis公司正式发布Optima平台,旨在解决当前AI基准测试中普遍存在的核心缺陷——通用评测集难以反映真实业务场景表现。该平台使用户能够导入自有数据、定义实际工作流,并据此构建专属AI性能评估体系。
多维指标超越传统评测
Optima支持对模型进行多维度对比,除传统质量指标外,重点纳入单任务执行成本与耗时等运营关键参数。文章指出,在面向AI智能体的应用中,这些实操性指标往往比单纯依赖token定价更具参考价值。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(The Decoder) →