feat: wiki 讀取與對白抽取腳本 #13

Merged
jiantw83 merged 1 commits from feat/w3-corpus-extract into main 2026-10-14 17:31:20 +00:00
Contributor

Closes #4

內容

  • tools/corpus/fetch_wiki.py:用 tea 的驗證讀取 jiantw83/sao wiki 全部 83 頁,存到 repo 之外。
  • tools/corpus/extract_dialogues.py:抽出 4,324 句「」對白與前後文,用規則判定明確的說話者;疑似 wiki 銜接重複的標 suspect_duplicate(58 句)。
  • tools/corpus/characters.json:別名表。
  • .gitignore:corpus/、build/ 改為只擋根目錄(原本也會擋到 tools/corpus/),加 __pycache__/。

驗證

  • python3 -m unittest:15 項通過。
  • 實跑結果:4,324 句,規則判定 404 句(高信心 262、中信心 142),其餘 3,920 句交給 W4。

🤖 Generated with Claude Code

Closes #4 ## 內容 - `tools/corpus/fetch_wiki.py`:用 tea 的驗證讀取 `jiantw83/sao` wiki 全部 83 頁,存到 repo 之外。 - `tools/corpus/extract_dialogues.py`:抽出 4,324 句「」對白與前後文,用規則判定明確的說話者;疑似 wiki 銜接重複的標 `suspect_duplicate`(58 句)。 - `tools/corpus/characters.json`:別名表。 - `.gitignore`:`corpus/`、`build/` 改為只擋根目錄(原本也會擋到 `tools/corpus/`),加 `__pycache__/`。 ## 驗證 - `python3 -m unittest`:15 項通過。 - 實跑結果:4,324 句,規則判定 404 句(高信心 262、中信心 142),其餘 3,920 句交給 W4。 🤖 Generated with [Claude Code](https://claude.com/claude-code)
admin added 1 commit 2026-10-14 17:12:21 +00:00
fetch_wiki.py 用 tea 讀取 wiki;extract_dialogues.py 抽出「」對白與前後文,
並用規則判定明確的說話者。原文與輸出放在 repo 之外。

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
jiantw83 merged commit a4b5c1689a into main 2026-10-14 17:31:20 +00:00
jiantw83 deleted branch feat/w3-corpus-extract 2026-10-14 17:31:20 +00:00
Sign in to join this conversation.
No Reviewers
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: jiantw83/jsc-plugins#13