/sentencepiece
與語言無關的 tokenizer，把文字視為原始 Unicode。支援 BPE 與 Unigram，可直接用原始文字訓練。需要多語言或 CJK 支援時使用。
- 安裝次數
- 981
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill sentencepiece安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Language-independent tokenizer treating text as raw Unicode. Supports BPE and Unigram algorithms. Fast (50k sentences/sec), lightweight (6MB memory), deterministic vocabulary. Used by T5, ALBERT, XLNet, mBART. Train on raw text without pre-tokenization. Use when you need multilingual support, CJK languages, or reproducible tokenization.