IT Leaders トップ ＞ 経営課題一覧 ＞ データ活用 ＞ 技術解説 ＞ 長年の懸案だった“外字問題”が解決へ、6万字を1万字に対応付ける「縮退マップ」が完成 データ活用 データ活用記事一覧へ [技術解説] 長年の懸案だった“外字問題”が解決へ、6万字を1万字に対応付ける「縮退マップ」が完成 2015年9月30日(水)田口 潤（IT Leaders編集部） リスト 普段は意識しないが、データや情報のデジタル化、そして利活用に少なからぬ影響があるのが、語彙の定義や文字コードの問題だ。これらは今も、氏名を扱う情報システム、例えば電子政府や電子自治体などにおいて問題であり続けている。その解消に向けた大きな前進が、2015年9月末にあった。 業界や社会、国を超えてデータや情報を流通させ共有したい。そのためには何が必要か？──。この設問に対して、読者は何と回答するだろうか？「インターネットに
MySQL と Unicode Collation Algorithm (UCA) - かみぽわーる に関連するトピックで、 MySQL には寿司ビール問題というのがある。 寿司ビール問題どっかで詳しくお話を聞くべきだよなぁ。。。— RKajiyama (@RKajiyama) March 18, 2015 これはどういう問題かというと、 MySQL の Unicode では binary collation にしてコードポイントで比較しないと🍣と🍺に限らず絵文字が同値判定されるという問題です。 あれ？ MySQL の utf8mb4 charset って、4バイト文字同士を比較すると同じ文字扱いされる？ SELECT '🍣'='🍺' → 1 MySQL的には寿司とビールは同じ扱い。— とみたまさひろ (@tmtms) December 22, 2014 MySQLで select
今週ブログ当番のkkです。 今回のブログのテーマをずっと考えてました。 何を書こうか、毎回困ります。 と思っていたら、ちょうど昨日、開発中のCSV出力機能で文字化けが発生しました。 じゃ、テーマはこれだ！＼(^o^)／ 【文字化けの原因】 Q：何で文字化けが起きたか？ A：出力するCSVファイルに、日本語と中国語が混在していた。中国語について、日本語に存在しない漢字が「？」と表示される。 Q：ブラウザは日本語と中国語も混在するのに、何で文字化けしないか？ A：ブラウザで表示する際の文字コードはUTF-8にしている。一方、CSVファイルの文字コードはMS93にしていた。 Q：CSVファイルの文字コードにUTF-8を使わないの理由は？ A：CSVファイルの文字コードを普通にUTF-8にしても、Microsoft Excelで開けない為。 UTF-8のCSVファイルをExcelで開と、日本語が文
【追記】まだ確認してませんが、先日公開された11.3系で修正されたとの風の噂を耳にしております。ほんとうなら、こんなに嬉しいことはない、ぼくにはまだ（ｒｙ【07-15】 【追々記】11.3で直ってました。よかったよかった。【07-26】 iTunesというのは、Appleの高性能マルチメディアコンテンツ再生ソフト。iPodなどの母艦となるソフトなので、Windowsユーザーでも利用している数少ないAppleソフトウェアのひとつだ。ぼくもそのひとり。 いま配布されている最新のiTunes 11.2.2には、濁点と半濁点の文字が読めないというグレイトなバグがある。たとえば「ブルーハーツ」というバンドは、一文字目の「ブ」を読み飛ばされて、「ル」の並びにソートされる。ひとによっては「ルースターズ」の下に「ブルーハーツ」があって、なかなか具合がよい。僕の再生リストでは「イ」のところに「バービーボーイ
この記事はHaskell Advent 2012のための記事です。(遅れてすいません(ヽ´ω`)) Haskellで実際にプログラムを書く上では、様々なパッケージにある型や関数を利用するのが不可避になります。 そういった便利ツールのうち文字列まわりについて調べたところを、Haskell最近始めたって人に紹介するのがこの記事の目的です。Haskell詳しい方には新しい発見は無いかもしれません。ごめんなさい。 この記事では、主に文字列に焦点を当てていますが、そのうちまた別のテーマでも書こうと思っています。 なお、前提としてるバージョンはHaskell Platform 2012.4.0.0と、それに付随するGHCやパッケージです。 OSも、Mac OS XやLinuxなどUNIX系の環境を想定しています。Windowsは持ってませんのでわかりません。ごめんなさい。 文字列 Haskellでは文
UTF-8はWikipediaに書かれている通り、 当初は、Plan 9で用いるエンコードとしてベル研究所で考案された。 ものだけど、最近古本屋で見つけた「インターネットヒストリー」の村井純先生のあとがきに気になる記述があった。 ちょっと長くなるけど引用する。 かなり昔の話だが、ベル研のUNIXを作ったオペレーティングシステムを担当していたグループにオペレーティングシステムについての講演を頼まれたときに「日本語」の話をしたことがある。正直にいうと、ケン・トンプソンやデニスリッチなど、コンピュータ界のノーベル賞といわれるチューリング賞をとった錚々たるメンバーを前にして、当時「ただの研究者」であった自分がオペレーティングシステムについて何を話したらよいのだろうと悩んでしまった。結局開き直って話すことにしたのが漢字の問題だったわけだ。しかし、このときの講演の内容が、彼らにとっては1バイト1文字と
日本がCJK統合漢字拡張F1/F2に提案している文字には、すでにUCSに入っている漢字と見分けがつかない例がいくつもある。これらは、提案書*1に「Similar and Variation」として既存の文字の符号位置が記載されているものの一部であり、つまり、似ている漢字の存在は百も承知で提案しているわけだ。 以下、そのような例を拾ってみた。左右に並べた文字のうち「UCS」欄に符号位置が入っているほうが、既存のもの。個々の文字について述べることはしないが、要するに「別字の衝突であれば、形が同じでも別の符号を与える」ということだろう。 だが、ちょっと待ってほしい。それって実はものすごく根本的な方針転換じゃないですか？ 「機」の簡体字の「机」も「つくえ」の「机」も、形が同じである以上、同じ符号位置（U+673A）に包摂・統合するというのがCJK統合漢字の大原則であったはず*2。ここでいきなりそれ
Did this help? Hosting Detexify costs money and if it helps you may consider helping to pay the hosting bill. Want a Mac app? Lucky you. The Mac app is finally stable enough. See how it works on Vimeo. Download the latest version here. Restriction: In addition to the LaTeX command the unlicensed version will copy a reminder to purchase a license to the clipboard when you select a symbol. You can p
This article has multiple issues. Please help improve it or discuss these issues on the talk page. (Learn how and when to remove these messages) This article may contain excessive or irrelevant examples. Please help improve the article by adding descriptive text and removing less pertinent examples. (June 2020) This article may require cleanup to meet Wikipedia's quality standards. The specific pr
iOSとMac OS Xで特定のアラビア語の文字列を表示させると、アプリやSafariブラウザのセッションがクラッシュする問題があることが分かった。メディア各社が8月29日に伝えた。 ロシアのセキュリティ企業Kaspersky Labのニュースサービス「threatpost」によると、この文字列は当初、ロシア語のWebサイトに掲載され、8月28日ごろからソーシャルメディアなどで出回るようになった。 問題のロシア語サイトでは、Mac OS 10.8とiOS 6でSMSやiMessages、Safariなどに問題の文字列が表示されるとクラッシュすると説明しているという。また、Twitterアプリなども影響を受けるとされる。 原因はページレイアウトやフォントを処理するApple Core Textの問題にあるといい、間もなく登場予定の次期OS X「Mavericks」（10.9）とiOS 7のβ
GitHub for MacをデザイナさんのPCに入れたとき デザイナーのためのGithub for Mac の使い方「リポジトリ作成編」 - KUROIGAMEN(黒い画面) 上の記事のようにデザイナの間でも，にわかにGitの影が忍びよってるようですが，いざ入れてみたら日本語パスが化けて(正確には文字化けではなくて数値コード?)困ったのでメモ． GitHub for Mac内のgit 基本は git/日本語ファイル名をgit statusなどで表示する方法 で紹介されている方法と同じです．ただし，ここで同じようにgit configしようとすると， % git config --global core.quotepath false bash: git: command not found となります．そこでGitHub for Macの中を漁ると… % cd /Applications
Written by Magnus Holm From Wikipedia’s article on JSON JSON was based on a subset of the JavaScript scripting language. All JSON-formatted text is also syntactically legal JavaScript code. JSON is a subset of JavaScript. All these years we’ve heard it over and over again: “JSON is a JavaScript subset”. Guess what? They’re wrong. Wrong, wrong, wrong. You see, the devil’s in the details, and there’
とあるシステムでデータベースから引いてきたデータの表示が文字化けするという不具合がありました。 データベース内のデータとしては文字化けしていない状態で格納されていることはわかっていたので、どこかしらの文字変換で化けていることはわかっています。まずはどの誤変換により文字化けするのか原因切り分けのために、decode/encode の組み合わせによる文字化けパターン一覧を作りました。おかげさまでどのパターンに類するものか判別することができ、無事に改修することができました。 その話はまた別にするとして、今も昔も変わらず文字化けに悩む人は意外と多いと思います。誤変換結果一覧は原因解析の参考になると思い、記事としてまとめることにしました。 文字コード変換ミスによる文字化けパターンを可視化するプログラムと一覧表 まずは誤変換を生成する perl スクリプトです。プログラムはとっても簡単で、「文字化けで
▼ [雑] メールアドレスのバリデーション崩壊のお知らせ、もしくは、全てが UTF-8 になる JANOG31 のページをつらつら見てたら気になるセッションがあった。 「メールアドレスの国際化(JANOG25からの変更点)」というものだ。（多用されているかはともかく）Web で使われるドメイン名では国際化が進んでいたけど、メールアドレスに関してはほとんど進んでいなかった印象だったのに、どうも RFC での標準化がほぼ完了したらしい。 セッションページからダウンロードできる「IETF 85 報告 DNS, 国際化関連」という資料を見てみたら、次のような記述があった。 ほとんどすべてのメールヘッダにUTF-8を許可 – メールアドレス部 <ローカルパート@ドメイン名> – Display-name, (コメント), SubjectヘッダにもUTF-8 (従来はMIME) 資料には具体例も記載さ
gitの唯一の弱点は日本語ファイル名に弱いことだ。 つい最近WindowsではUTF-8ファイル名に対応したが、MacではUTF8-MAC(UTF-8-MAC)問題という持病を抱えていた。 このため、WindowsやLinuxで濁点、半濁点とかの入った日本語ファイル名のファイルを含むリポジトリを作成し、Mac上にcloneすると、次の画像のようにこれらのファイルをリポジトリ内のファイルとして見なしてくれないと言う問題があった。 日本語ファイル名が使えなかった旧バージョンのgit 簡単に説明すると、ファイル名の見た目はLinux等と一緒だが、文字コード的に濁点の扱いが微妙に違うためである。ある意味、文字化けの類の問題である。この説明はかなり端折っていて不正確なので、技術的な詳細はこちらを参照して欲しい。 これまで、解決するにはnfsをマウントする方法や、パッチはあったが、本家では取り込まれて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
