feat: 全量標註的檢查、重標與合併工具 (#5)
verify_batches.py 逐批比對 id;make_relabel.py 挑出需重標的 none; merge_labels.py 支援多個目錄覆蓋與 confidence 縮寫;worry 加入情緒白名單。 Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Sonnet 5.5
parent
c85e00a56e
commit
ea6b9ca7ef
@@ -68,3 +68,23 @@ python3 tools/corpus/merge_labels.py ~/anime-companion-data/sao/dialogues.jsonl
|
||||
- 標註全部通過白名單檢查,採用 70 句(high 且非 unknown)。
|
||||
- 規則高信心與標註一致 20/25,中信心 15/25。不一致的例子顯示規則會把「對她說道」的聽者當成說話者,也會把「我眼前」的「我」當成說話者,所以最終以標註為準,規則只當參考。
|
||||
- sub-agent 回報的模糊處(非說出口的「」、無名角色、信心門檻)已補進 `label_prompt.md`。
|
||||
|
||||
### 全量結果
|
||||
|
||||
全部 4,324 句分 87 批(每批 50 句)標註,再對早期批次被標成 `none` 的 62 句用新版指示重標。
|
||||
|
||||
```bash
|
||||
python3 tools/corpus/make_batches.py ~/anime-companion-data/sao/dialogues.jsonl ~/anime-companion-data/sao/labeling/full/in --all --batch-size 50
|
||||
# 每批交給 sub-agent,輸出到 .../full/out/
|
||||
python3 tools/corpus/verify_batches.py ~/anime-companion-data/sao/labeling/full # 逐批比對 id
|
||||
python3 tools/corpus/make_relabel.py ~/anime-companion-data/sao/labeling/full ~/anime-companion-data/sao/labeling/relabel/in --max-batch 24
|
||||
python3 tools/corpus/merge_labels.py ~/anime-companion-data/sao/dialogues.jsonl ~/anime-companion-data/sao/labeling/full/out,~/anime-companion-data/sao/labeling/relabel/out ~/anime-companion-data/sao/labeling/final.jsonl --review-dir ~/anime-companion-data/sao/labeling/review
|
||||
```
|
||||
|
||||
- 全部通過白名單檢查。早期批次把 `none` 一律標成非說出口的話,重標後只有 2 句改成有說話者。
|
||||
- 一個批次把 `confidence` 縮寫成 h/m/l,合併時對應回完整值(`merge_labels.py` 的 `CONFIDENCE_ALIASES`);`worry` 加進情緒白名單。
|
||||
- 採用(high 且非 unknown)2,340 句;`none` 673 句;亞絲娜 304 句(第 1 冊 228、第 3 冊 15、第 4 冊 61),直葉/莉法 514 句(第 3 冊 303、第 4 冊 211)。
|
||||
- 規則高信心與標註一致 188/262(72%),中信心 82/142(58%),所以最終以標註為準。
|
||||
- 多個 agent 並行時共用暫存目錄會互相覆蓋腳本,所以 `verify_batches.py` 逐批比對 id;全部一致。
|
||||
- wiki 的部分頁面有重複或錯置的段落,標註 agent 對這類句子多半降為 medium 或 low,不會進入採用的 2,340 句。
|
||||
- `mode`(亞絲娜的「被囚禁/重逢」、直葉的「現實/莉法」)目前只有規則依別名推得的少數句子有值,大多數是空的;W5、W6 要另外依章節情境補上。
|
||||
|
||||
Reference in New Issue
Block a user