ASCIIオンリの
プロトタイプなTokenizerを作成中。てーか、この段階でもうおなかいっぱい orz
以下は仕様というかメモ書き
- 基本はbi-gram
- スペースでDelimitされる
- Delimitされた結果が1文字だったら、そこだけuni-gramにする。
- 終端は考慮しない。*1
- lowerでRegularizeする。
- ASCIIのみを受け付ける*2
で、以下はPrototype作成後に試す必要のある項目
- 歯抜けに対応するのか?*3
- ある程度の量喰わせてどの程度の効率とフットプリントになるのか。
以下、備忘録
- SQLite3の組み込みSimpleを見てみた結果、例えば"Hello world"とあったら、1stTokenはStart=0、End=5となり、2ndはStart=6,End=11となる。*4
- Spaceをいっぱい食わせてみたら、n-1のTokenのEndOffsetとnのStartOffsetは不連続になっていた*5
#てーか、、、STLのちゃんとしたリファレンスが必要かもしれないと痛感。MSDNのISO/ANSI C++の項目全部英語だし orz
#あと、この際もう日本語にしてくれとは言わないから、FTS3のTokenizerのちゃんとしたDocが欲しい。。。*6 *7