先说结论

用固定问题、多次测试和统一判断规则记录品牌当前在AI答案中的表现,为后续改进提供可比较的起点。

01

样本设计

  • 30个固定中文提示词,覆盖六类用户任务。
  • 首期平台包括五个中文产品与三个海外产品,按可用性分批执行。
  • 每题每平台运行3次;相同设置尽量在连续时间窗口完成。
  • 记录产品入口、模型、地区、账户、联网、日期和运行编号。
  • 品牌词与非品牌词分开报告,不混成单一总分。
02

字段与编码

  • response_status:有效、拒答、超时、产品错误。
  • brand_mention:是否出现目标品牌及首次位置。
  • owned_citation:是否引用目标品牌自有URL。
  • source_domains:所有可见来源域名。
  • factual_accuracy:正确、部分正确、错误、无法核验。
  • recommendation_tone:推荐、中性列举、负面、不适用。
03

发布规则

公布题库版本、数据字典、有效分母和失败记录。截图用于复核但不替代结构化数据。首轮只描述基线,不对平台机制做因果断言。涉及客户或个人信息时先匿名和审查。

04

运行前冻结,运行后记录偏差

题库、平台入口、运行次数、有效回答规则和人工核验字段应在首轮运行前保存为一个版本。执行中遇到产品下线、搜索不可用或账户限制时,记录偏差及其影响,不临时删除不利样本。

需要修改协议时创建下一版本,并说明旧数据能否继续比较。只有这样,后续网站或传播改动前后的差异才有可讨论的共同基准。

  • 保存协议版本与生效日期。
  • 保存问题原文和运行条件。
  • 保留失败、拒答和无法核验的记录。
  • 公开任何偏离原计划的处理办法。
05

从问题到结论的一次完整流程

先从真实客户任务选择问题,按发现、比较、核验、行动和风险分组,并在运行前保存版本。随后确定每个AI产品的实际入口、地区、语言、是否登录以及最低重复次数。执行时保留所有回答,包括拒答、超时和错误;人工核对品牌名称、事实、来源与语气,并让第二位核查者抽查容易产生分歧的判断。

汇总时公开每个指标的分子与分母,不把无效运行静默删除,也不把提及、引用和推荐合并。基线只描述改动前发生了什么,不代表网站存在因果问题。完成网站或内容调整后,需要经过合理等待时间,再使用同一版问题和规则复查。任何题库、入口或判断方法变化都应单独说明。

  • 输入:真实问题、平台入口和品牌事实清单。
  • 过程:多次运行、完整保存和人工核对。
  • 输出:原始计数、错误类型、来源与限制。
  • 用途:确定改进优先级,并为之后比较保留起点。

参考资料

  1. 重复测量论文https://arxiv.org/abs/2604.07585

外部资料可能更新,阅读时请以链接中的最新说明为准。

发现信息有误或需要补充?

请通过内容更正页联系我们,并附上对应页面与来源。