前報で述べた通り，マイクロソフトのWindows Vistaでは，文字コードにUnicodeを使いながら，Unicodeとは異なる文字コード規格のJIS X 0213をサポートする，という方式を取っている。というのも，Windows 98日本語版以降ずっとサポートしてきたCP932（本名はWindows Codepage 932，いわゆるMS 漢字コード）やJIS X 0212を捨てるわけにはいかないので，CP932もJIS X 0212もJIS X 0213もみんなまとめてUnicodeで扱う，というやり方を取らざるをえないのである。 前報では，JIS X 0213の第一水準～第三水準漢字7614字について，Vistaで新たに採用された日本語フォントセットであるメイリオとXP以前のMSゴシックを見比べ，7614字のうち325字*が，VistaとXP以前との間で文字化けする（ここでは本来表
チベット語モデルTibetan-BERT-wwmは「དཔོན་དམག་དང་གཟིགས་སྐྱོང་བྱེད་ཡུལ་གྱི་ཁྲིམས་མཐུན་ཁེ་དབང་ལ་སྲང་སྐྱོབ་བྱེད་པ།」をどうトークナイズするのか言語処理colaboratoryトークナイズチベット語 Yatao Liang, Hui Lv, Yan Li, La Duo, Chuanyi Liu, and Qingguo Zhou『Tibetan-BERT-wwm: A Tibetan Pretrained Model With Whole Word Masking for Text Classification』を横目に、Tibetan-BERT-wwmのトークナイザが「དཔོན་དམག་དང་གཟིགས་སྐྱོང་བྱེད་ཡུལ་གྱི་ཁྲིམས་མཐུན་ཁེ་དབང་ལ་སྲང་སྐྱོབ་བ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
