Thoughts on Conduits
Summary: I'm growing increasingly fond of the Conduit library. Here I give my intuitions and some hints I'd have found useful. Recently I've been working on converting the Hoogle database generation to use the Conduit abstraction, in an effort to reduce the memory and improve the speed. It worked - database generation has gone from 2Gb of RAM to 320Mb, and time has dropped from several minutes (or
Purely functional, elegant, correct, incremental and composable stream processing that is CPU and memory efficient. This is our (worthy) goal, but where do we start? This problem space is being extensively explored across a variety of languages and libraries, each with subtly different trade-offs and not-so subtly different APIs and terminology. However, these libraries share common goals, and mos
The Haskell ecosystem has numerous libraries for effectful stream programming, including, but not limited to: List conduit enumerator io-streams iterIO iteratee list-t logict machines pipes Unfortunately, this poses a problem for library writers. Which streaming library should they pick when providing effectful streaming components? Sometimes the correct answer is: none of the above! We can often
Yesod is a Haskell web framework for productive development of type-safe, RESTful, high performance web applications. September 11, 2014By Michael SnoymanView source on Github I've heard that my previous blog post has caused a bit of confusion, as sarcasm doesn't really come across in text very well. So let me elaborate (and of course, in the process, kill the joke): Some years back, Erik found a
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
前回の続きである。予告通り、2つのストリーミングの「出力」と「入力」をつなげる処理、そして、ストリームの命令列を解釈する処理系を実装する。 2つのストリームを1つにする(考え方) 「出力」と「入力」をどうくっつけるといいのか。それぞれのストリームは命令の列なので、2つの命令の列があると考えられる。ちょっと考えると、これらをうまく並べ替えることで、1つの命令の列を作れることがわかる。 例えば、「Notify(1), Wait(2), Done(3)」という列の出力を、「Wait(4), Notify(5), Done(6)」という2つの列の入力につなぐことを考えよう。様々な処理をつなげる場合、取り出したい演算結果は下流で生成されると考えられるだろう。そこで、合成後の命令の列は下流のWait(4)から開始される。Wait(4)では上流からのデータを期待するので、次は上流の命令であるNotify
conduitやpipesなどのストリーミングライブラリの実装は結構わかりにくい。Pipes to Conduitsという一連のエントリが分かりやすい解説なのだが、それでも序盤からFunctorやFreeモナドを駆使していてハードルが高めな印象を受ける。 理解するには自分で実装するのが一番の近道だろうから、このエントリでごく簡単なストリーミングライブラリを実装してみよう。ストリーミングライブラリではI/Oを扱うのが目的であるため、本来であればモナドを扱えるように実装しなければ意味がないのだが、ストリーミングの基本的な仕組みとしてはモナドは重要ではないので、ここでは純粋な値のみを扱うストリームを作成する。 ストリームを表す型 ここが一番重要かつわかりにくい部分だと思われる。今回の実装では、「入力」「出力」「結果」の3つの型をストリームで利用する。が、「出力」と「結果」の違いとはいったいなんな
Episode 6 - Gabriel Gonzalez and Michael Snoyman on Pipes and Conduit Recorded: 2014-02-23, Published: 2014-03-03 Gabriel Gonzalez and Michael Snoyman join us to discuss their solutions to the problems with lazy IO. Gabriel's pipes library focuses on equational reasoning while Michael's conduit library promises deterministic resource handling. Gabriel and Michael have already debated the merits an
Interactive code snippets not yet available for SoH 2.0, see our Status of of School of Haskell 2.0 blog post Updated locationNote that the most up to date version of this content is available at the conduit repo homepage. You should probably read it there. conduit is a solution to the streaming data problem, allowing for production, transformation, and consumption of streams of data in constant m
使えると便利、Conduitの大雑把な使い方です。 目次 使い始める前に Sourceから全ての値をリストで取得する 複数のSourceの全ての値をリストで取得する 自作Sourceを作成する 出力可能な値の残っているSourceを再利用する Sinkに流れてきた値を全て出力する 自作Sinkを作成する Conduitで流れているデータを加工する 自作Conduitの作成 使い始める前に 使い始める前に、Hackage: conduitから適切な関数を選択する為の最低限の知識として次の事を覚えましょう。 何するものなの？ Conduitを構成するベースの型1つ 基本の3つの型 2つのオマケの型 何をするものなのか？ Conduitはストリームデータを処理する為のライブラリです。 ストリームデータ処理の流れを「データの取得」「データの加工」「最終処理」の3段階に分けて記述していきます。 使用
Yesod is a Haskell web framework for productive development of type-safe, RESTful, high performance web applications. April 28, 2014By Michael SnoymanView source on Github The Haskell Web Application Interface- or WAI- serves as a low-level interface between web applications and servers. In order to do this in a resource-efficient manner, it avoids lazy I/O and instead uses explicit streaming. The
Yesod is a Haskell web framework for productive development of type-safe, RESTful, high performance web applications. March 5, 2014By Michael SnoymanView source on Github I got a request to write up some examples of using network-conduit for server and client apps. I'm going to try to cover a few of the examples requested. I'm also going to be demonstrating some usage of the new conduit-combinator
Yesod is a Haskell web framework for productive development of type-safe, RESTful, high performance web applications. October 9, 2013By Michael SnoymanView source on Github This blog post has actually been through many iterations as I've investigated the problems more thoroughly. After looking at the various examples I'll be bringing below quite a bit, I've come to a conclusion: there is just one
はじめに io-streams パッケージがリリースされた折にふと「conduit，pipes，io-streams 以外の streaming data を扱うライブラリには何があるんだろうか？」と疑問に思いつぶやいてみたところ， machines がある ということを教えていただきました． 気になったので調べてみた，というのが今回の内容です． 基本的な使い方に始まり，何とか attoparsec を組み込むあたりまでは辿り着きました．なお，GHC 7.4.1 を使用しています． 見出し これは何？ 雰囲気 どう使うの？ 基本形 Source の作成 Process の作成 Transducer を組み込む 複数入力の取り扱い Parser を組み込む おわりに これは何？ 今回の対象は↓これ． machines-0.2.3.1 http://hackage.haskell.org/pa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
