先说结论
用固定问题、多次测试和统一判断规则记录品牌当前在AI答案中的表现,为后续改进提供可比较的起点。
样本设计
- 30个固定中文提示词,覆盖六类用户任务。
- 首期平台包括五个中文产品与三个海外产品,按可用性分批执行。
- 每题每平台运行3次;相同设置尽量在连续时间窗口完成。
- 记录产品入口、模型、地区、账户、联网、日期和运行编号。
- 品牌词与非品牌词分开报告,不混成单一总分。
字段与编码
- response_status:有效、拒答、超时、产品错误。
- brand_mention:是否出现目标品牌及首次位置。
- owned_citation:是否引用目标品牌自有URL。
- source_domains:所有可见来源域名。
- factual_accuracy:正确、部分正确、错误、无法核验。
- recommendation_tone:推荐、中性列举、负面、不适用。
发布规则
公布题库版本、数据字典、有效分母和失败记录。截图用于复核但不替代结构化数据。首轮只描述基线,不对平台机制做因果断言。涉及客户或个人信息时先匿名和审查。
运行前冻结,运行后记录偏差
题库、平台入口、运行次数、有效回答规则和人工核验字段应在首轮运行前保存为一个版本。执行中遇到产品下线、搜索不可用或账户限制时,记录偏差及其影响,不临时删除不利样本。
需要修改协议时创建下一版本,并说明旧数据能否继续比较。只有这样,后续网站或传播改动前后的差异才有可讨论的共同基准。
- 保存协议版本与生效日期。
- 保存问题原文和运行条件。
- 保留失败、拒答和无法核验的记录。
- 公开任何偏离原计划的处理办法。
从问题到结论的一次完整流程
先从真实客户任务选择问题,按发现、比较、核验、行动和风险分组,并在运行前保存版本。随后确定每个AI产品的实际入口、地区、语言、是否登录以及最低重复次数。执行时保留所有回答,包括拒答、超时和错误;人工核对品牌名称、事实、来源与语气,并让第二位核查者抽查容易产生分歧的判断。
汇总时公开每个指标的分子与分母,不把无效运行静默删除,也不把提及、引用和推荐合并。基线只描述改动前发生了什么,不代表网站存在因果问题。完成网站或内容调整后,需要经过合理等待时间,再使用同一版问题和规则复查。任何题库、入口或判断方法变化都应单独说明。
- 输入:真实问题、平台入口和品牌事实清单。
- 过程:多次运行、完整保存和人工核对。
- 输出:原始计数、错误类型、来源与限制。
- 用途:确定改进优先级,并为之后比较保留起点。
参考资料
- 重复测量论文https://arxiv.org/abs/2604.07585
外部资料可能更新,阅读时请以链接中的最新说明为准。
发现信息有误或需要补充?
请通过内容更正页联系我们,并附上对应页面与来源。