01
数据标注规范
统一情感、标签、证据与复核口径。
AI DATA ANNOTATION · LLM EVALUATION
旅游评论大模型
数据标注与评测
从标签体系、Prompt迭代到自动评测与Bad Case分析的完整实践
基于旅游评论场景，构建一套完整的AI数据标注和模型评测流程。
向下探索01 · PROJECT BACKGROUND
项目背景
旅游评论包含真实体验线索，却往往以口语、反讽和多主题叙述的方式出现。要让模型输出可以比较，首先需要把自然语言变成结构化、可追溯的数据。
场景选择围绕服务、排队、卫生、景色等高频旅游体验主题设计测试评论。
核心问题统一情感、问题类型与原文证据的判断口径，让复杂表达能够进入评测流程。
项目交付形成基准标签集、Prompt、校验脚本、指标结果和 Bad Case 报告。
02 · EVALUATION WORKFLOW
从评论数据
到评测报告
以规则建立可复查的输入，再通过统一脚本比较两版 Prompt 输出，最后回到具体样本理解指标变化。
- 01数据构建40条模拟旅游评论覆盖明确与模糊表达。
- 02标签体系定义情感、问题类型、证据与复核规则。
- 03Prompt设计从基础指令迭代到边界规则明确的版本。
- 04模型输出统一为可读取、可比对的结构化字段。
- 05自动评测计算准确率、多标签指标与证据可定位率。
- 06Bad Case分析定位反讽、漏标与混合情感等问题。
03 · CAPABILITY GALLERY
把评测流程做成可交付的项目
从规则设计到错误复盘，每一步都保留可检查的项目文件。
02
Prompt V1 与 V2
从基础任务到规则增强的迭代。
03
Python 自动评测
检查数据完整性并自动汇总结果。
04
多标签指标计算
用 Precision、Recall 与 F1 查看漏标。
05
Bad Case 分析
回到原评论，定位可优化的规则。
PROJECT AT A GLANCE
一个小而完整的
离线评测闭环
40条测试评论
3类情感标签
10类问题标签
2版 Prompt
8项评测指标
30条 Bad Case
04 · PROMPT ITERATION
让规则更接近真实评论
VERSION 01基础版
Prompt V1
建立任务目标与统一字段，作为后续规则优化的对照基础。
- 基础任务说明
- 简单输出字段
- 缺少复杂边界规则
- 多标签识别不稳定
VERSION 02规则增强
Prompt V2
通过更明确的定义、示例与输出约束，提升复杂评论的结构化稳定性。
- 明确标签定义
- 增加多标签规则
- 增加 Few-shot 示例
- 增加证据约束与反讽处理
- 固定结构化输出
05 · EVALUATION RESULTS
规则清晰后，
错误变得可见
以下结果来自当前项目的 `evaluation/metrics.csv`，对比 V1 与 V2 的离线输出。
Prompt V1Prompt V2
情感分类准确率
67.5% → 100.0%
问题类型完全匹配率
40.0% → 95.0%
标签级 F1
75.0% → 98.4%
证据可定位率
100.0% → 100.0%
need_review 准确率
72.5% → 100.0%
06 · INTERACTIVE REVIEW
从平均分数
回到一条评论
选择案例，查看基准标签与两版 Prompt 输出的差异。
“真贴心，排队一个半小时还不让坐，太阳晒得我很开心。”
基准标签负面｜排队;服务｜需复核：是
本次对比使用的参考结果
Prompt V1正面｜排队｜需复核：否
错误类型：情感误判、问题漏标、复核判断错误
Prompt V2负面｜排队;服务｜需复核：是
规则增强后的结构化结果
优化说明V1 按“真贴心”和“很开心”的字面意思判断；V2 加入反讽规则后，结合排队与暴晒事实识别实际不满。
07 · BAD CASE ANALYSIS
错误不是终点，
而是下一版规则的起点
反讽误判
“真贴心”表面是赞美，却与漫长排队、暴晒事实相矛盾。V2 增加反讽规则，要求结合完整语境判断。
仍需复核：口语表达的讽刺强度可能存在分歧。多问题漏标
宣传信息不符与设施维修同时出现。V1 只保留显眼主题；V2 要求提取每个独立问题。
仍需复核：边界标签应持续结合规范检查。正负混合判断
工作人员主动帮助与设施陈旧并存。V2 保留两类信息，并以整体语义判断为中性。
仍需复核：复杂体验的情感强弱需要人工抽检。