6.2Kb の軽量日本語分かち書きライブラリ
JS 向けに作成した同ライブラリwakachigakiの Python ポーティングです。
詳しくはこちらをご参照下さい。
https://github.com/yuhsak/wakachigaki
pip install wakachigakifrom wakachigaki import tokenize
tokenize("非常に効果的な機械学習モデル")
# => [ "非常", "に", "効果", "的", "な", "機械学習", "モデル" ]