Parsers are what now?! Even to a Haskeller —proficient in the magics of functors and monads— the term of relative monads might be foreign; let's thus motivate their existence. Recently I've been thinking about how parsing expression grammar specifies very little about how syntax errors are to be reported or aggregated. Declaration ← Function / Struct / Module Function ← "fn" Name "(" ... Struct ←
Let me tell you why you should (nearly) never use PEG (parsing expression grammars). Nearly everything I will say applies to parser combinators (parsec in Haskell, nom in Rust), too. So, don't use PEG. Use CFGs (context-free grammars) instead. They are more natural. I feel that CFGs more naturally represent how we think. Thus when you have some language in your head and you try to write it down as
最近 PEG パーサジェネレータライブラリを作っているんだが，一旦区切りがついたので忘れないうちに備忘録をまとめておく． さて，PEG は曖昧さが存在しない言語を定義する為の文法だ．基本的には文法自体は結構単純で書きやすい．構文解析も単純ではある．ただ，愚直に構文解析すると入力の長さに対して指数時間かかってしまうため，取り扱いが少し難しい．ただ，入力の長さ分のメモリを用意することで，解析時間を入力の長さに対して線形時間にする packrat parsing という手法が提案され，最近では PEG をプログラミング言語の文法の定義方法として採用する言語も増えているようだ． PEG の魅力はなんといっても曖昧さを排除できる点と，文法程度を簡潔にできる点だろう．ただ，あまりいい感じのパーサ生成ライブラリがない場合も多い．Haskell にもあんまりいい感じのがなかった．なので今回は，PEG の勉
The Lezer Parser System The problem of parsing structured text has resisted one-size-fits all solutions for over 60 years. Lezer isn't such a solution either, but it is a very decent parser generator, especially well suited for use in code editors. Lezer (the Dutch word for reader, pronounced like “laser”) provides a parser generator that outputs JavaScript modules, which can be loaded to parse co
☰ Introduction Tree-sitter is a parser generator tool and an incremental parsing library. It can build a concrete syntax tree for a source file and efficiently update the syntax tree as the source file is edited. Tree-sitter aims to be: General enough to parse any programming language Fast enough to parse on every keystroke in a text editor Robust enough to provide useful results even in the prese
Multiple Queries in the Console Query Editor Rockset Console’s query editor allows users to type and run queries over collections. Until now, however, whatever was typed in the editor was run and parsed as a single query. This means that, for a user, it wasn’t that easy to switch between multiple queries in our editor. They would have to comment out the queries they didn’t want to run, or keep all
Macro PEGは、私が2016年頃に、PEGに対する拡張として提案したものです。2016年のプログラミング研究会で発表したスライドが kmizu.github.io にあります。さて、当時考えたMacro PEGは、Macro PEGの引数付き規則を名前呼び出し（call by name）として評価するものでした。たとえば、 S = Twice("a")*; Twice(A) = A A; というMacro PEGがあったとき、Sから開始して、引数付き規則 Twice を引数 "a" で呼び出すと、Aは式"a"をそのまま束縛し、呼び出され側に展開される形になります。このため、これが受理する言語は、 L = {"aa", "aaaa", "aaaaaa", ...} といったものになります。当時、値呼び出し（call by value）を検討したものの、あまり面白いことができなさそうだっ
use nom::{ bytes::complete::{tag, take_while_m_n}, combinator::map_res, sequence::Tuple, IResult, Parser, }; #[derive(Debug, PartialEq)] pub struct Color { pub red: u8, pub green: u8, pub blue: u8, } fn from_hex(input: &str) -> Result<u8, std::num::ParseIntError> { u8::from_str_radix(input, 16) } fn is_hex_digit(c: char) -> bool { c.is_digit(16) } fn hex_primary(input: &str) -> IResult<&str, u8> {
パーサライブラリの現状 Haskellではパーサライブラリは様々なところで使用されています．例えば，Haskellでのデファクト的なJSONパーサライブラリaesonは，JSONデータのパースにattoparsecというライブラリを使用しています．GHCはHaskellプログラムのパースにalex/happyというレクサーとパーサを利用しています．HTTPライブラリでは，parsecを軽量パーサとして使っています．このライブラリでは，WWW-AuthenticateヘッダやSet-Cookieヘッダの内容をparsecでパースしています． このようにパーサライブラリは非常に需要が高く(文字列をパースするというのは，日常的に出くわす状況ですからね)，Haskellでは様々なパーサライブラリが存在します．この記事ではそれらのパーサライブラリの簡単なまとめ と比較 を行います． さて多くの数があ
Very fast and lightweight, standards-compliant, self-hosted javascript parser with high focus on both performance and stability
はじめに Rustには有名なnomというパーサーコンビネーターライブラリがあるが、せっかく高級な型システムと最適化があるのにマクロで何とかしようとするのは勿体無いと思うので、マクロに深く依存しないcombineを使ってみた。 combineの主な特徴 parsec リスペクトのパーサーコンビネーター コンビネーターはマクロではなく、 Parser traitを実装する値で表す バイトストリーム、文字(Unicodeコードポイント)ストリーム、トークンストリームの全てに対応 メモリ上の文字列だけではなく、入力ストリームからの直接のパースにも対応 まだ計測はしていないが、 Box を多用していたりはしないので、速度的に大きく遅れをとるようなことはないのではないかと思う。 以下、parsecについて知っていたほうが読みやすい構成になっているので、必要ならparsecの資料を探して読むといいかもし
In this post we’ll briefly talk about the new language agnostic parser generator, called Syntax. Note: we don’t describe here parsers algorithms in detail; the target audience is supposed to be familiar with parsers terminology, and basic parsing techniques. For detailed info on parsers theory and implementation you can address the Essentials of Parsing course. Syntax tool is implemented as a Node
Higher Order PEG(HOPEG)とは何かというと、Parsing Expression Grammar(PEG)の規則が引数を取れるように拡張したものです（ちなみに、引数を取る規則をRule Constructorと呼んでいます）。 後で考えると、0階のPEG = 普通のPEGとすると、1階のPEG = First Order PEGの方が近いような気がしますが、まあそれはそれとして。 PEGをHOPEGに拡張すると何が嬉しいかというと、どうも、PEGでは今のところ扱えないっぽいと思われている回文を表現できるようなのです。以下は、回文を表現する（と思われる）HOPEGのサンプルです S = P("") !.; P(r) = "a" P("a" r) / "b" P("b" r) / r; 規則Pが引数rを取れるようになっているのが、HOPEGで書けるようになった部分ですね。こ
こんばんは。久しぶりにブログ書いてみることにしたのですが、以前と同じネタだとモチベーションが保てないので、今回はちょっと変わったタイトルにしてみました。 平仮名にしたかっただけだろうおまえと言われそうですね。はいそうです。 というのはおいといて、たいとるのおーぷんぷろぶれむ(Open Problem)ですが、日本語では未解決問題と訳すことが多いようです。読んで字のごとく、未だ解決されていない問題のことです。存在する（はず）だけど見つかっていないアルゴリズムとか、真か偽かがまだわかってない命題とかのことですね。ちなみに、当たり前ですが、解決された時点でOpen Problemでなくなってしまいます。 第何回まで続くか１回で終わるかはわかりませんが、第１回では、PEL ⊃ CFL問題について紹介します。この問題は、2004年にBryan Fordによって、論文 "Parsing Express
2015-07-17 Schemeで作るPEGパーサー PEG パーサーが欲しくなったのでPEGパーサーをSchemeで書いてみました。kmizuさんの記事にあるようにPEGは受理言語のクラスがLR(k)より真に大きい(つまりLL(k)より大きい)上にメモ化を行うだけで線形時間で終わるというとてもいい性質を持った文法です。 PEG基礎文法最速マスター - kmizuの日記kmizu.hatenablog.com Scalaで作るPackrat Parserコンビネータ - kmizuの日記kmizu.hatenablog.com 準備 さて、これをSchemeで実装してみます。基本的にはkmizuさんの記事と同じものを再実装していくのですが、せっかくなのでSchemeらしくミニマルな設計にしたいと思います。 まずPEGの文法をおさらいしておきます。PEGは終端記号と非終端記号といくつかの演
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
