/huggingface-tokenizers
為研究與正式環境最佳化的快速 tokenizer，以 Rust 實作。支援 BPE、WordPiece、Unigram，可訓練自訂詞表、追蹤對齊、處理 padding 與截斷。
- 安裝次數
- 988
- 專案星數
- 1.4 萬 ★
- 授權
- MIT
- 專案更新
- 2026-10-11
怎麼裝
npx skills add https://github.com/Orchestra-Research/AI-Research-SKILLs --skill huggingface-tokenizers安裝前請先看過原文內容。中文說明是 AI 翻譯，不保證安全。
原文
Fast tokenizers optimized for research and production. Rust-based implementation tokenizes 1GB in <20 seconds. Supports BPE, WordPiece, and Unigram algorithms. Train custom vocabularies, track alignments, handle padding/truncation. Integrates seamlessly with transformers. Use when you need high-performance tokenization or custom tokenizer training.