In the last couple of months, I've been seeing the ú symbol on British receipts. Why? 1963 - ASCII In the beginning* was ASCII. A standard way for computers to exchange text. ASCII was originally designed with 7 bits - that means 128 possible symbols. That ought to be enough for everyone, right? Wrong! ASCII is the American Code for Information Interchange. It contains a $ symbol, but nothing for
Intro textarea などに入力された文字数を、 JS で数えたい場合がある。 ここで .length を数えるだけではダメな理由は、文字コードや JS の内部表現の話を理解する必要がある。 多言語や絵文字対応なども踏まえた上で、どう処理するべきなのか。 それ自体は枯れた話題ではあるが、近年 ECMAScript に追加された機能などを交えて解説する。 なお、文字コードの仕組みを詳解すること自体が目的では無いため、 BOM, UCS-2, Endian, 歴史的経緯など、この手の話題につき物な話の一部は省くこととする。 1 文字とは何か Unicode は全ての文字に ID を振ることを目的としている。 例えば 😭 (loudly crying face) なら 0x1F62D だ。 1 つの文字に 1 つの ID が割り当てられているのだから、文字の数を数える場合は、この ID
Navigation index next | Programming with Unicode » Programming with Unicode Programming with Unicode¶ 1. About this book 1.1. License 1.2. Thanks to 1.3. Notations 2. Unicode nightmare 3. Definitions 3.1. Character 3.2. Glyph 3.3. Code point 3.4. Character set (charset) 3.5. Character string 3.6. Byte string 3.7. UTF-8 encoded strings and UTF-16 character strings 3.8. Encoding 3.9. Encode a charac
これまでのMySQLでよく問題になった、絵文字や日本語の文字の照合やソート順序の問題に関して、来たるMySQL 8.0では大幅な改善が加えられる予定になっている。この問題の概要と今後の改善方針について、MySQL開発チームからの解説。 免責事項 この記事はManyi Lu氏によるMySQL Server Blogの投稿「Sushi = Beer ?! An introduction of UTF8 support in MySQL 8.0」(2017/1/13)をユーザが翻訳したものであり、Oracle公式の文書ではありません。 MySQL 8.0での私たちの計画として、utf8のサポートを大幅に改善します。utf8サポート自体はMySQL 4.1の頃にさかのぼりますが、いくつかの制限が存在しています。記事タイトルにもある「寿司 = ビール」問題は、バグ#76553のことを指しています。少
2015 - 04 - 27 JavaでUnicodeのサロゲートペアを扱う練習 Java Unicode 文字コード 文字コード の復習をちょっとしてたら、 Unicode の サロゲート ペアって今まで気にしたこと無かったことに気が付きました。 ということで、お仕事でも扱う Java で、 サロゲート ペアの文字列を組み立てたり、文字数をカウントしたりする練習をしました。 https://github.com/msakamoto-sf/javasnack/blob/master/src/test/java/javasnack/langspecs/TestUnicodeSurrogatePairs.java Java 1.4までは サロゲート ペアは考慮されてませんでしたが、1.5になり、 サロゲート ペアを考慮した API が追加されました。そこで、上記テストコードでは1.4系までの
先ずはこの『ゟ』という文字がキチンと表示されているかどうかが不安である。 まあよほど古いPC等でない限り大丈夫とは思うが……。 ある程度高い年代の方々や出版・図書・報道などの業界にいる人、一部の研究者や特定分野の趣味人にとっては馴染みがある文字かもしれない。 ※追記：本文中の「ゟ」にもWebフォントで『筑紫明朝』を適用しました。こんな特殊な文字もバッチリ表示される…！ FONTPLUSさんありがたい。 I have a よ. I have a り. そもそも私がこれを全く読めなくて調べたことから始まってしまう。 正直、初見はどこか外国語のアルファベットかサンスクリットの文字か何かかと思った……。 これは、2つ以上の平仮名や片仮名などを組み合わせた文字で、『合字』や『合略仮名』と呼ばれるものの一つである。 読みは「より」であり、そのまま平仮名の「よ」と「り」の合字だ。※1 手紙の差出人名や起
こんばんは、@todokrです。この記事は絵文字 / Emoji Advent Calendar 2016の22日目の記事です エモジニアンと絵文字追加運動 絵文字愛好家のみなさま方におかれましては、「いつかは自分もUnicodeに絵文字追加のプロポーザルを…」という思いをごく自然とお持ちのことと思います。 世間を見渡せば「ハンバーガーやホットドッグの絵文字はあるのになんでタコスはないんだ！」とブチ切れたタコベルがタコス絵文字収録キャンペーンを始めてしまったり、「我々には餃子の絵文字が必要である」プロジェクトがChange.orgに誕生したりなどなど、敬虔なエモジニアンらによる急進的な絵文字追加運動は枚挙にいとまがないようです。 Change.orgの餃子追加プロジェクトの方では「署名の理由」欄に「私は餃子です」と書き残す謎のサンフランシスコ人がいたりなど、異様なテンションの高さが感じられ
11月9日、カナダのソフトウェアアドオンを開発しているメーカー、Analytics Edgeがこのような見出しの記事を公開した――「Here’s a secret: ɢoogle.com is not google.com」。 アメリカ合衆国で実施された大統領選挙の前後で、「Vote for Trump」というフレーズが多くのサイトのGoogleアナリティクスの検索レポートに表示されたという。アクセス解析を見ると、「secret.ɢoogle.com」というドメインから。 これだけ見ると、大統領選に関して、グーグルの何らかのサービスで検索したのだろう……と思ってしまうかもしれない。しかしよく考えてほしい。なぜ「G」だけ大文字なのだろうか？ そう、「secret.google.com」ではなく、「secret.ɢoogle.com」なのは、考えてみると妙ではないか。 この「G」がクセモノ。実
こんにちは、hachi8833です。 少し前に、babaさんから「Rubyの内部文字コードはUTF-8じゃないよ」とツッコミがありました。 （追記: 上は会話の途中から切り取りましたのでご了承ください） いきなりの展開にくらくらきましたが、babaさんはさらにたたみかけます。 こうしたことはとっくにご存じの方も多いと思いますが、「Rubyといえば2.0以来UTF-8完全対応なんじゃないの」と勝手に思い込んでた私は脳に掌底を食らったような思いです。ああ、でもこういうことがあるから面白い。 ⚓ プログラミング言語と内部文字コードの関係 まず最初に押さえておきたい点です。プログラミング言語で文字コードに関連する部分は、「文字列」「正規表現」「入出力」「コード中の文字リテラル（""の中など）」「コード中の文字リテラル以外の要素（変数名など）」「ファイル名」などが中心になります。そして文字列に関連し
最初に結論 Mac OS Xではシェルによって、入力文字列にUnicodeの結合文字列が混ざることがある JavaScriptでは、String.prototype.normalize()を使ってNFCに変換すると良い 事件 事象 デを含む文字列（デイリー）をrepalaceできない現象が起きました。 再現コード const { Transform } = require('stream') process.stdin .pipe(new Transform({ transform(chunk, encoding, callback) { callback(null, chunk.toString() .replace('デイリー', '')) } })) .pipe(process.stdout)
This story starts with a confession: I was afraid of Unicode for a long time. When a programming task required Unicode knowledge, I was searching for a hackable solution for the problem, without a good understanding of what I was doing. My avoidance continued until I faced a problem that required detailed Unicode knowledge. There was no way to apply situational solutions. After putting in some eff
Bizreach Tech Beer Bashでの発表資料です
こんにちは、Webアプリケーションエンジニアのid:nanto_viです。みなさんHTMLのフォーム検証機能は使っていますか? 近年は各Webブラウザの対応も進み、お手軽にフォームの利便性を高められるようになっています。 そんなフォーム検証機能のひとつがinput要素のpattern属性です。pattern属性の値にJavaScriptの正規表現パターンを指定することで、ユーザーの入力が意図しないものであった場合、フォーム送信ができなくなります。下図は5桁の数字の入力が求められるところに3桁しか入力せずフォーム送信しようとしたところです。ブラウザに組み込みのエラー表示が出現し、またそのメッセージにtitle属性の値が使われていることを確認できるでしょう。(pattern属性を指定する際には、title属性に書式の説明を記述することが推奨されています。) <input type="text"
ユニコード正規化をすると、半角英数字や機種依存文字などの表記が統一できます。 表記ブレが吸収されることで検索性が高まったり、データの比較なども行いやすくなります。 正規化の手法にはNFD, NFC, NFKD, NFKCがありますが、その中でもNFKCという次のような正規化を行う方法をコードを交えて紹介します。 ウ゛ェ → ヴェ ＡＢＣ → ABC ① → 1 ㊤ → 上 Ⅲ → III ㌶ → ヘクタール ﾊﾝｶｸｶﾅ → ハンカクカナ ﹣ → - ※ 左辺はU+FE63 Small Hyphen-Minus: 小さいハイフンマイナス － → - ※ 左辺はU+FF0D Fullwidth Hyphen-Minus: 全角ハイフンマイナス 動作環境
概要 正規表現でひらがなにマッチさせる場合によく「 /[ぁ-ん]/ 」とするが、これを「 \p 」エスケープ表現を使って、 「 /\p{Block=Hiragana}/u 」のように分かりやすく書けるようにするための新たな仕様がV8で実装された。 基本 文字の分類には様々なものがあり、その分類名nameと、その分類での値valueを使って、 「 /\p{name=value}/u 」のように記述する。 hiragana = /^\p{Script=Hiragana}+$/u // スクリプト（言語文字種）分類：平仮名 console.log( hiragana.test( 'あいうえお' ) ) // true console.log( hiragana.test( 'aiueo' ) ) // false // 分類名や値には大抵略称が１つ、または複数設定されており、そちらも使える h
何言ってんのお前 Unicode コンソーシアムには里親( Adoptation )制度があり、スポンサーになると文字を一つ選択することで里親になることができる。選択した文字は Unicode コンソーシアムのサイト上 に自分の名前とセットで掲載してもらえるのだ。そこで僕は🍣を選び、1年間の期限付きではあるが🍣の里親、ブロンズスポンサーとなったのである。 どうして "はじめに言葉ありき"というように、人間はそれを指し示す言葉がなければそれを認識できない。ただそれを認識したときに人がどうそれを受け入れるかというのはかなり怪しいもので、Unicode という統一を目指す文字コード体系は最終的に言語以上に文化の壁に当たるのではないかと思っている。実際、人アイコンの肌色で揉めたりとかは事実それなりに起きているし、今「犬を食べる」という絵文字や「鯨を捕まえて食べる」みたいな絵文字が入るとしたら、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
