GPT-6 Astra、Sol 和 Luna：基于证据的模型指南
将当前 OpenAI GPT-6 模型与过时的 API 价格、上下文限制和独立基准测试结果进行比较。 B2B 团队的实用选择指南。
研究简报·来源包括研究和现场笔记
更好的问题。更可靠的人工智能。
团队构建人工智能产品的指南。了解如何选择模型、测试其答案并检查成本。每个指南都链接到来源并解释了它们可以告诉您什么。
42简报
跨越 7 主题
跨越 7 主题
选择起点
你需要决定什么？
- 规划产品？ 比较聊天机器人、工作流程和代理。
- 使用文档？ 了解何时使用 RAG 或微调。
- 降低成本？ 检查提示缓存保存的内容。
- 保护人工智能产品？ 计划 LLM 安全和机器人滥用测试。
- 支持用户？ 计划何时由某人接管。
从这里开始/评估设计
Choosing an LLM evaluation framework: four options and a trial plan
通过评估任务比较 DeepEval、Giskard、Ragas 和 Promptfoo，然后使用共享夹具检查评分、导出、数据处理和可重复性。
阅读简报可重复的质量条
01 / 定义决策
02 / 测量基线
03 / 调查故障
04 / 测试下一个更改
更好的分数应该导致更好的决定。
图书馆
找到你的下一个问题。
42 篇
模特简报 / 5 篇
当前型号内部。
了解 OpenAI、Claude、Meta、Kimi 和 Gemini。检查价格、测试结果以及下一步要尝试的内容。每个指南都有一个日期；结果可能会改变。
Claude Opus 5.5: pricing, metrics, and what to test
查看 Claude Opus 5.5，其中包含过时的定价和独立规划指标。了解如何测试编码质量、审阅者工作量和应用程序权限。
研究简报·来源包括Meta Muse Spark 1.3：指标、定价和数据使用层
查看 Meta Muse Spark 1.3，其中包括过时的数学基准、API 定价、上下文限制、音频警告以及标准层和贡献者层之间的差异。
研究简报·来源包括Kimi K3：基准证据和实用评估计划
使用独立的科学和数学指标、API 价格和上下文限制检查 Kimi K3。了解如何在不混淆模型和代理的情况下评估长任务。
研究简报·来源包括Gemini 3.8 Flash：指标、定价和迁移检查
使用过时的科学和数学结果、上下文限制、介绍性定价以及实际迁移和多模式检查来评估 Gemini 3.8 Flash。
研究简报·来源包括通用人工智能 / 10 篇
人工智能决策，解释。
选择一个有用的任务。了解成本。保护客户数据。这十个指南可帮助您决定构建什么以及如何检查其是否有效。
如何选择您的第一个 B2B AI 用例
选择具有可衡量价值、可用证据和可管理故障成本的 AI 用例。 B2B 产品团队的实用记分卡。
研究简报·来源包括聊天机器人、工作流程或人工智能代理：您应该构建哪一个？
通过任务完成情况、工具使用、延迟和恢复来比较聊天机器人、固定人工智能工作流程和代理。为您的产品选择合适的自主级别。
研究简报·来源包括RAG 与微调：首先诊断问题
了解检索、提示或微调何时解决 AI 故障。比较证据访问、行为一致性、更新成本和评估指标。
研究简报·来源包括真正推出后的人工智能试点成功指标
通过可接受的结果、净处理时间、重复使用和运营成本来衡量人工智能试点。了解为什么仅凭演示准确性并不能证明推出的合理性。
研究简报·来源包括令牌和上下文窗口：团队实用指南
了解令牌、上下文限制、输出预算和对话历史记录如何影响 AI 成本和可靠性。包括长文档任务的衡量计划。
研究简报·来源包括提示缓存：衡量节省情况，而不仅仅是命中率
了解提示缓存、缓存读取指标以及每个接受答案的成本。了解如何测试实际节省，而不会将缓存输入与缓存响应混淆。
研究简报·来源包括模型路由：降低AI成本而不隐藏质量损失
设计一个具有路线准确性、升级、任务质量和完整成本核算的模型路线实验。了解较小模型路径何时赢得一席之地。
研究简报·来源包括人工智能产品中的人工交接：设计和测量最后一英里
构建人工智能交接，以保留上下文并明确下一步行动。衡量升级召回、审查工作和解决方案，而不是仅仅衡量偏差。
研究简报·来源包括AI SaaS 是否使用您的数据？需要证据的问题
检查 AI SaaS 数据流、培训使用设置、保留、访问和删除。包含产品团队覆盖率指标的实用证据清单。
研究简报·来源包括构建或购买人工智能产品：证据优先清单
将构建和购买人工智能软件与任务质量、集成工作、数据控制、总成本和退出准备情况进行比较。包括实用的记分卡。
研究简报·来源包括研究方法 / 27 篇
建立可重复的质量栏。
了解如何测试 AI 答案、文档搜索和代理。设定明确的质量标准。在发布更改之前，使用人工审核来检查结果。
Choosing an LLM evaluation framework: four options and a trial plan
通过评估任务比较 DeepEval、Giskard、Ragas 和 Promptfoo，然后使用共享夹具检查评分、导出、数据处理和可重复性。
研究简报·来源包括如何在发布之前评估 LLM 申请
LLM申请的实用评估计划：定义成功，构建代表性数据集，选择评分者，并在发布前调查失败。
研究简报·来源包括LLM评估需要多少个例子？
围绕覆盖范围、不确定性和关键决策选择评估样本，而不是依赖通用的最小测试用例数量。
研究简报·来源包括构建反映真实工作的LLM评估数据集
设计具有任务覆盖范围、来源、保留示例和明确预期行为的评估数据集。将合成覆盖范围与实际流量分开。
研究简报·来源包括基准污染：为什么私人测试集还不够
了解训练泄漏、重复调整和评估时间暴露。为值得信赖的法学硕士比较建立实用的披露记录。
研究简报·来源包括构建可修复的 AI 故障分类法
根据可观察到的症状和因果假设对人工智能失败进行分类，以便评估结果转化为有针对性的实验和明确的所有权。
研究简报·来源包括RAG评估指标：分别衡量检索和答案
选择 RAG 指标来区分缺失的证据、不相关的上下文、不受支持的主张和不完整的答案，而不是将它们隐藏在一个分数中。
研究简报·来源包括如何在不奖励不相关上下文的情况下测试检索回忆
构建证据标签、多文档案例和受控检索比较，揭示 RAG 检索器实际遗漏的内容。
研究简报·来源包括RAG 引文：正确答案仍然可以引用错误的证据
分别评估引文支持、覆盖范围和忠实度。了解最近的归因研究对于实际 RAG 质量检查意味着什么。
研究简报·来源包括使用冲突和过时的文档测试 RAG 系统
针对版本冲突、缺失权威和模糊日期创建 RAG 评估，以便助手不会将矛盾的证据变成自信的答案。
研究简报·来源包括RAG 助手什么时候应该说它不知道？
一起评估可回答性、弃权和澄清，以便 RAG 助理在不拒绝有用工作的情况下避免不受支持的答案。
研究简报·来源包括AI 代理评估：测试结果、跟踪和重复运行
围绕状态变化、工具行为、可重复性和恢复来设计代理评估，而不是仅对最终聊天响应进行评分。
研究简报·来源包括工具调用评估：参数、授权和副作用
测试工具选择、参数有效性、授权边界和状态协调，以捕获有效函数调用可能隐藏的故障。
研究简报·来源包括在整个对话过程中评估多轮助理
测试更正、更改需求、保留的约束和有用的澄清，以便在孤立的响应之外衡量对话质量。
研究简报·来源包括检索和工具使用剂的即时注射评估
设计有界提示注入测试，将不受信任的内容与权限分开，并衡量不适当的操作和过度阻止。
研究简报·来源包括衡量每个成功任务而不是每个响应的 AI 代理成本
使用一致的任务预算和明确的成功定义来比较代理质量、延迟、重试和总资源使用情况。
研究简报·来源包括如何在信任其分数之前校准LLM法官
根据特定于任务的人工标签验证法学硕士判断，检查方向错误，并在候选人分布发生变化时重新检查校准。
研究简报·来源包括带有评分锚点的法学硕士评估标准模板
创建具有可观察标准、清晰的通过边界、证据要求和示例的评分标准，帮助审稿人做出合理的判断。
研究简报·来源包括人类评估协议：在平均之前诊断分歧
衡量审阅者对标签分布和任务模糊性的一致性。使用裁决来改进标题，而不是隐藏分歧。
研究简报·来源包括配对法学硕士评估：比较答案而不隐藏联系
为模型和即时决策设计具有明确标准、随机顺序、平局处理和任务级分析的盲法配对比较。
研究简报·来源包括有限的人类评估时间该去哪里？
在代表性流量、不确定判断和相应故障模式中分配人工审查，而不会将目标抽样与流行率混淆。
研究简报·来源包括LLM回归测试：将失败变成释放之门
为提示、模型、检索和工具构建分层回归套件。将确定性故障与噪声判断分开并保留可重复的运行。
研究简报·来源包括有效的 JSON 是不够的：评估结构化的 LLM 输出
分别测试语法、模式、字段含义和下游行为，以便机器可读的输出对于消费系统来说也是正确且有用的。
研究简报·来源包括在切换生产之前评估 LLM 模型迁移
在依赖公共基准改进之前，根据您的任务比较候选模型，判断校准、输出合同和操作限制。
研究简报·来源包括无需收集所有信息即可监控 LLM 生产漂移
跟踪用户请求、答案质量和评分规则的变化。使用集中监控将真正的失败转化为更好的 LLM 测试，同时限制数据收集。
研究简报·来源包括人工智能评估活动应该提供什么？
工程团队可以使用的评估范围、数据集、校准评分、故障分析、再现性和交接的买家指南。
研究简报·来源包括LLM 安全和机器人攻击：实用的测试计划
将提示注入与自动机器人滥用分开。针对访问边界、工具权限、成本限制和有证据支持的修复制定实用的测试计划。
研究简报·来源包括模型决策台
哪种模型适合该任务？
在一处比较独立基准测试结果、精确的模型设置和 API 成本。
探索型号对比如何阅读这些注释
证据，附带限制。
我们解释已发表的研究并提出使用它的方法。这些笔记不报告我们自己的实验。有些来源是未经同行评审的早期论文。我们标记示例场景并显示我们检查每个来源的时间。在将调查结果应用到您自己的产品之前，请先阅读限制。
我们的编辑方法将方法付诸实践