バッチ処理の実装にLuigiを使う機会があり、少し調べて整理しました。 irisデータセットをダウンロードしてきて、scikit-learnで学習したモデルをS3にアップロードする、簡単なサンプルも作ります。 Luigi Luigiは、データパイプラインを記述するためのPythonフレームワークです。 github.com 特徴 タスク間の依存関係を定型的に定義できる 失敗した(アウトプットが生成できなかった)タスクから再開できる スケジューリングはできない スタートキックは別の誰かが行う必要がある ユースケース 処理間に依存関係があり、各処理が複雑な場合に役立ちます。 例えば、データの前処理やパラメータ最適化などを含む複雑な処理フローを構造化して実装したい 例えば、インプットとなるデータ量が膨大なので、適切に中間生成物を作りながら処理したい 一方で、ジョブのスケジューリングは別の機構(c

#つづいて きぬいとです．日をまたいだので初投稿です． 前回の続きです． 前回は2変数間の相関を見ました．主な結論としては ①女性の生き残りが多い ②大人か子供かでの生き残りは強い相関があるとはいえない ③客室のクラスに大人が多いかどうかについても強い相関があるとはいえない 的なことをお話したんじゃないでしょうか． 注意したいのは，統計的に有意であることは相関が強いことを意味しないというところです． ②，③は検定では有意ですが，相関係数の値としては高くはないので注意してください． 他の相関については，前にも書いたとおり，皆さんで分析してくれていることでしょう． 前回「二項ロジットでもやるか」とか言った手前，本来の統計本なら飛ばさないことをぶっ飛ばして二項ロジットやります――． 二項ロジットをやる理由は単純に「えっ遊ぶんでしょ？生き残りは二値だし……」という理由です．もっと言えば第3変数を統

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

以前、ブログに書いた内容を再掲します。 何も考えずにapt-get install r-baseとすると、実は大変古いバージョンがインストールされます。 apt-getの前の下準備 まず、Ubuntuのバージョンを確認。 cat /etc/lsb-release ここで出てくる、「DISTRIB_CODENAME=hogehoge」は要確認です。 次ダウンロード元のミラーサイトを登録します。 $ sudo vi /etc/apt/sources.list 一番下の行に DISTRIB_CODENAME=hogehogeの場合 deb https://cran.ism.ac.jp/bin/linux/ubuntu hogehoge/ を追加します。 （2017年3月22日追加）※時々、統数研のcranが死んでることもあります。ご注意ください。 次に公開鍵登録のため、次のコマンド入力。 $ g

対話環境は便利ですが、Haskellでは強い静的型付け・純粋関数型という言語の性質から、 コンパイラと対話環境とでは少々使い勝手が違います。 ここでは、Haskell初心者がghciを使うときに陥りがちな4つの落とし穴について紹介します。 1. 式を定義しようとしたら parse error on input ｀=' [原因] ghciはインタプリタなので、与えられた式全体を評価しようとする

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 R Markdownに必要なknitrパッケージをRにインストールしようとしてもできなくてハマった話です。knitrだけでなくその他のいくつかのパッケージもRにインストールできませんでした。私はUbuntu 14.04に$ sudo apt-get install r-baseでRをインストールしていたのですが、これだけでは最新のRがインストールされないことが原因でした。最新のRをUbuntuにインストールする方法は UBUNTU PACKAGES FOR R - CRAN にあります。日本語の説明は UbuntuにRをインストールするための手順 - トライフィールズ が分かりやすいです。ポイントはCRANのレポジトリを追加しないと最新版がインストールできないことです。この記事では私のトラブルの話と、上記リンクの補足になるレポジトリやSecure APTの解説を書きます。もし、Ubu

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

##はじめに 最強の Linux ディストリビューション である Manjaro Linux を紹介します｡ Manjaro Linuxは、Arch Linux を基に GUI 環境をプラスしたディストリビューションです。 インストールが簡単であり、基本アプリ以外に不要なアプリが入っていないので、開発環境としても、個人のデスクトップ環境としても最適です｡ ##感想 Manjaro Linuxの良い所は､Arch Linuxのような壊れやすさがないという点と、初期設定が楽という点です｡ そして、Arch Linuxの良い所は､不要なアプリが入ってない点です。これは、セキュリティ的に見てもプラス要因です｡ もちろん、入っているアプリが少ないということは､低スペックマシンでも快適に動作します。 ただし、この点は､ハイスペックすぎるマシンが溢れている現代において、問題になることは少ないと思われます

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Emacsは美しいんです。 と書くとVim信者からTwitterに晒されるんで先に断っておきます！ Vimをディスったりする意図はないです(・ω・) どんなエディタでも画面を分割すると1行に収まる文字の量が減ってしまいます(・ω・) 普段からMacBookProで作業しているとどうしても画面サイズの都合で情報量が減ってしまう結構な悩みだった。 で、さっき見つけたパッケージが素敵だったのでご紹介！ golden-ratio(黄金比) roman/golden-ratio.el このパッケージを導入すると画面分割した時編集可能なバッファが1:1.618（黄金比）にしてくれます(・ω・) これならバッファを3分割しても4分割しても編集したいバッファだけしっかり見ることができます！ 黄金比にしてくれるところがにくい！ 美しいEmacsには黄金比がふさわしい！

ライブラリ探すなら基本awesome go見とけばいいけど、いろいろ楽するためという観点で、思い出した順に適当に追記していく。気が向いたらサンプルも書く gojson https://github.com/ChimeraCoder/gojson jsonのデータを渡すとそれに対応するstructを生成してくれる。JSON APIを利用するときに楽ができる。既存APIのリプレイスをGoでやるときとかも良い。 goquery https://github.com/PuerkitoBio/goquery JQueryっぽくhtmlをパースしたり検索したりして楽ができる。自前でhtmlのパースなんか書いてられない。 goreq https://github.com/franela/goreq net/httpパッケージで、httpリクエストを飛ばすのは結構面倒だったりいろんな書き方があったりしてヘ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 第２回です。 なかなか更新できる時間がないですが マイペースで書いていこうと思います。 ストックやフォローをして頂けると励みになります。 さて前回はGCの仕組みの概要説明とjstatでのモニタリングでした。 今回はCGログの分析をしてみようと思います。 JVMのGCログ設定 まずはGCログが取得できるように設定しないと始まりませんね。 以下のようなオプションをjavaの起動コマンドに付与すると GCの情報を取れるようになります。 -verbose:gc [GC 919089K->41941K(943744K), 0.2300771 se

module FooImplSpec (main, spec) where import Test.Hspec -- 個別のspecファイルを実行するためにはmainが必要。 main :: IO () main = hspec spec spec :: Spec spec = do describe "foo" $ do it "returns bar" $ do foo bar `shouldBe` foobar これまでテストを実行するときは stack test などとしていたが、コンパイル遅いし（特にリンカーの実行が遅い）、TDDするには不都合で冗長だった。記憶が正しければ自動で-O1がかかるので、これも素早くテストの実行を繰り返したい場合は邪魔だろう 1。 追記: どのみちリンカーは実行されているので、めちゃめちゃ速くなっているかと言えば微妙な気がしてきた。 まぁ、stackで

今までいまいちモチベが上がらなかったHaskellでスクリプトを書くというのが、急に現実的になってしまったので、紹介します。 Haskellでスクリプティングする上での問題点 Haskellはもともと簡単なテキスト処理を書きやすいプログラミング言語ではあるのですが、標準で提供されているライブラリはあまり多くないので、必要に応じてコミュニティーパッケージを導入しなければその力を存分に発揮することができません。 通常のパッケージなら、cabalに依存関係を書けばパッケージマネージャで自動的に（コケることもありますが、理想的には）管理できるのですが、シェルスクリプトやPerl、あるいは最近ならPythonでやるような、コードを直接インタプリタで実行するような形のコードでは、そのような依存関係を自動で解決することは難しく、その上、仮にやろうとしたところで、いつまでもその依存パッケージが新しいコンパ

自分の使っているツールが会社のメンバーに意外と知られていなかったので、紹介してみたら好評だった。そこでこちらでも紹介してみることにした。 Alfred https://www.alfredapp.com/ マカーな開発者にはお馴染みのイケてるランチャー むしろ使っていない人を知りたい さらにはかどるWorkflowの使えるPowerpackは£19～ Stay https://cordlessdog.com/stay/ ウィンドウ位置記憶ツール（有料） アプリ毎やウィンドウ毎に、位置とサイズを覚えてくれる デュアルディスプレイ時と通常時で別々に記憶してくれる！ ノートPCでデュアルディスプレイするなら必須かも 公式サイトかApp Storeから約$18で買える HyperSwitch https://bahoom.com/hyperswitch ウィンドウ切り替えツール Cmd+Tabのす

よくある会話として下のようなものがありますよね。 「ソフトタブですか？ハードタブですか？」 「インデントはいくつですか？」 ※ソフトタブはタブが半角スペースで、ハードタブはタブがタブ。 そんなものはエディタの設定で統一すればよいからと。頭を悩ませる理由がわからないと。 と、思うんですよね。ひとりで作業しているときはね。 現状、私の周りで何が起きたかというと。 PhpStorm派 Vim信者 Atom使いたい派 なぜかときどきSublimeText使う派 と、なってくるわけですね。 エディタ毎に設定していってもよいんですけど、プロジェクト毎にどうのこうのしなきゃいけなくてめんどう。 結果 コードがグッチャグチャになって人間関係までグッチャグチャ となるわけですね。 人をイライラさせたければソフトタブのところにハードタブぶち込んだり、タブ4で統一しているところに2をぶち込めばよくて。簡単だね！

これは、emacs を hipchat クライアント化するための設定方法の説明ドキュメントです。 hipchat はブラウザや専用クライアントを使って利用するのが一般的ですが、emacs フリークであれば hipchat も emacs でやりたくなるのが信条というものでしょう。 ただ、jabber のオーバーヘッドが大きいのか、メンバーの presence が変ったりすと emacs の反応が鈍くなります。メンバーが多い場合は hipchat 用に別プロセスの emacs を立ち上げた方が無難です。 忙しい人はこのセクションを飛して、「まとめ」 (See section 4)に進んでください。 hipchat は XMPP をベースとしたチャットサービスです。 emacs には XMPP を扱うためのライブラリ emacs-jabber (jabber.el) が開発されています。 ht

概要 ご存知の方も多いと思いますが、小さなコード片を共有・バージョン管理できるGist (https://gist.github.com/) というサービスがあります。Gistへの投稿は基本的にブラウザ操作で行いますが、 これをターミナルから行えたら投稿の自動化も楽に出来るし、色んな場面で便利だなと思い、方法を調べました。 環境は以下のとおりです。

Gist とは GitHub が運営する短いコードを共有するためのサービスです。 友達にコードを送りたいときなどGistで通じて共有したりできます。 または自分用のメモとしてコードを残しておくのにも便利です。 基本はウェブ上で操作しますが、開発中にわざわざブラウザを開くのがめんどうだという人のために、コマンドラインからGistを投稿する方法を説明します。 (環境: MacOS Sierra、Python 3.6.0) python-gist の準備 インストール アクセストークンを発行する アクセストークンを発行しましょう。 Github のトップページから、[Settings] > [Developer settings] > [Personal access tokens] へと進みます。 右上の[Generate new token] から新しいトークンを生成します。 [Token

root = true [*] charset = utf-8 insert_final_newline = true trim_trailing_whitespace = true indent_style = space [*.{java,xml}] indent_size = 4 [*.{rb,erb}] indent_size = 2 [*.{html,js,css}] indent_size = 2 [*.json] indent_size = 2 [*.{yml,yaml}] indent_size = 2 trim_trailing_whitespace = false [Makefile] indent_style = tab [*.md] trim_trailing_whitespace = false

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに 社内等の開発環境のSSLで、所謂オレオレ証明書を使用していることは多いかと思います。 こうした環境を使用する場合、例えば ローカルPCのTomcat上のWEBアプリからHTTPSで通信するとSSLHandshakeExceptionなどが発生して困る という事態が起きるので、Javaにこのオレオレ証明書を追加することになるわけです。 何回か作業してるんですが、追加し終わるとすぐ手順を忘れるので、メモっておくことにします。 ※ Macを使った手順ですが、Windowsでも大差ないはずです。 オレオレ証明書をDLする FireFoxを使った手順です。 オレオレ証明書を使ったサイトを表示する URLの横にある鍵アイコンを押す 「詳細を表示」ボタンを押す ページ情報のダイアログが表示され「セキュリティ」タブが表示されていることを確認する 「証明書を表示」ボタンを押す 証明書ビューアが開く

spacemacsの動作で苦労しないためには emacsを最低でも24.4にします。24.3とかだとエラーが発生します。linuxのディストリビューションのデフォルトのままだとemacsが古い場合、ソースからコンパイルして入れたほうが良いです。ついでに global （helm-gtagsで使う）とか使ってる場合、こいつも最新にしておいたほうが幸せになれます（5.xx系は避ける）。 proxyの設定方法 うちの会社のように腐れ外道なproxyの場合、.spacemacsファイルのspacemacs/init()にある dotspacemacs-elpa-https t dotspacemacs-elpa-timeout 5 を dotspacemacs-elpa-https nil dotspacemacs-elpa-timeout 20 とか値を変えておきます。proxy越しで毎回アップ

chi is a lightweight, idiomatic and composable router for building Go HTTP services. It's especially good at helping you write large REST API services that are kept maintainable as your project grows and changes. chi is built on the new context package introduced in Go 1.7 to handle signaling, cancelation and request-scoped values across a handler chain. The focus of the project has been to seek o

・無料枠に関して 1か月あたりに100万のリクエストが無料および400,000 GB/秒の実行時間が無料利用枠となっています。 これは1年間の無料枠期間を過ぎても適用されます。 例えば、128MBのLambdaのみで構成されていたとしたら40万秒 * 1024/128(=8)の320万秒＝889時間分くらいは無料で利用可能です。 実際はLambdaの処理によって必要なメモリが異なると思います。 ちなみにメモリ不足で失敗しても３回までリトライしてくれるらしいです。 AWS Lambdaを使うときに注意する４つのこと -> ３つになりました 下記の例で計算するとします。 API Gatewayに割り当てられた10個のLambda関数（256MB、平均処理時間1秒）がそれぞれ1日あたり1万回ずつ呼ばれるとします →それぞれ256MBのメモリを割り当てた10個のLambda関数が月あたり30万回ず

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

;; Goのパスを通す (add-to-list 'exec-path (expand-file-name "/usr/local/go/bin/")) ;; go get で入れたツールのパスを通す (add-to-list 'exec-path (expand-file-name "/Users/user/dev/go/bin/")) ;; flycheck-modeを有効化してシンタックスエラーを検知 (add-hook 'go-mode-hook 'flycheck-mode) (add-hook 'go-mode-hook (lambda() (add-hook 'before-save-hook' 'gofmt-before-save) (local-set-key (kbd "M-.") 'godef-jump) (set (make-local-variable 'comp

この記事は RECRUIT MARKETING PARTNERS Advent Calendar 2017 の投稿記事です。 こんにちは。スタディサプリENGLSHでサーバーサイドとインフラを担当している松川です。 バスケットボールを趣味にしているのですが、体育館など公共スポーツ施設の予約がなかなか取れない… 都心近郊ですと人口に対してスポーツ施設が少ないため、すぐに枠が埋まってしまいがちです。稀にキャンセルが出ることもありますが、自治体のwebサイトにプッシュ通知やRSSといった類のものは滅多にありませんので、こまめに巡回しなくてはなりません。 流石にそれは効率的ではないので「何かクローラーでも書こうかなぁ…」と思っていたところ、同僚から「OCamlのlamdba-soupというライブラリがええで！」と紹介してもらったので、これを期にOCamlデビューしてみることにしました。 結論から言

20200601追記: なんで接続設定してないのにHerokuでDBに接続しているの？ 時々みなさんに見ていただいているので、わたしも当初疑問だったことについて追記しておきます。 （この記事はRailsを対象にして書いていますので、ご了承ください） 「Herokuにコードをpushするときは、productionモードで起動するのはわかるんだけど 特にproduction modeでのdatabase.ymlの設定は入れていなかったのに、 PostgreSQLに接続している。なぜ？？」 実際は、環境変数DATABASE_URLに接続先が指定されていれば、その設定を利用するようになるんですね💦 この記事のところでは触れていませんが、Herokuのアプリケーションの設定で、「DATABASE_URL」が環境変数として設定されているのが確認できると思います。 Rails Guide (日本語)

こんにちは、Ruby を触り始めてやっと3ヶ月経った @enomotodev です。 今回は Rails で ActiveAdmin を使って最速で管理画面を作る方法を紹介したいと思います！ 環境 Ruby 2.3.5 Rails 5.1.4 MySQL 5.7.20 ActiveAdmin のインストール Gemfile に activeadmin と devise を追加し、bundle install します。 $ bin/rails g active_admin:install Running via Spring preloader in process 9928 invoke devise generate devise:install create config/initializers/devise.rb create config/locales/devise.en.ym

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

追記 ディスク容量をグラフィカルに確認可能なncduコマンドを教えて頂きました。 こちらだと容量大のファイルの特定が早そうです。 krf7v4k2さん、ありがとうございました！ インストール (debian系) apt install ncdu (redhat系) yum install ncdu ##現在のディスク容量の確認 ###全体のディスク容量を確認 df -h [root@ip-xxx-xxx-xxx-xxx ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/xvda1 6.0G 4.1G 1.6G 73% / tmpfs 498M 0 498M 0% /dev/shm ###ディスク容量の内訳を確認 **du -sh [容量内訳を確認したいディレクトリのパス] 例) du -sh /*　(ルート直下） 例) du

はじめに Google Cloud Next '17で発表されたGCPの大きな改良によって、GCPで利用できるプロダクトの幅が広がりました。注目すべきは以下の2点です： Cloud SQLでPostgreSQLのサポート GAE(GoogleAppEngine) Flexible EnvironmentによるRuby, Node.js, .NETのサポート 従来からGCPでは、MySQL+(Python|Java|PHP|Go)という構成のアプリが動かせましたが、これに加えて上述の様々なアプリが動作するようになりました。 私達のチームではRails+Postgresでアプリを開発していたのですが、この変更によってGCPでやっていく機運が高まり移行しました。しかし出たての機能ということもありドキュメントが手薄で、ハマりどころが多かったのも事実。そこで、ハマったところをまとめて共有します。 ハ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

source 'https://rubygems.org' gem 'rails', '5.1.2' gem 'puma', '3.9.1' gem 'sass-rails', '5.0.6' gem 'uglifier', '3.2.0' gem 'coffee-rails', '4.2.2' gem 'jquery-rails', '4.3.1' gem 'turbolinks', '5.0.1' gem 'jbuilder', '2.7.0' group :development, :test do gem 'sqlite3', '1.3.13' gem 'byebug', '9.0.6', platform: :mri end group :development do gem 'web-console', '3.5.1' gem 'listen', '3.0.8' gem 'sp

Goでテストを書くお話です。 基本的なところから、応用的なテストの書き方（パターン？）をまとめておくことにしました。 ポイントを先に列挙します: テストのエラーメッセージは丁寧に書こう テーブルテストを活用してパターンを整理しながら網羅しよう ｔ．Runをつかって大きなテストを分割しよう t.Helperをつかってテストエラーの箇所をわかりやすくしよう テスト用のデータは testdata ディレクトリに置こう Setup/Teardownをうまく書いてテストの見通しをよくしよう 等 では、見ていきましょう。 実装 tenntennさんの もっと楽して式の評価器を作る を参考に、シンプルな計算機能を持つ関数(Compute)を書いて、それをテストしてみます（みんなはテストから書こう）。 実装コード: package calc import ( "go/token" "go/types" )

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

開発中のサービスに Heroku を採用した経緯を社内で周知するために書いた文章なんですが、ついでに Qiita にも貼っておきます（ちなみに Heroku の回し者ではないので悪しからず）。 従来、Heroku は日本で使うにはレイテンシの問題で本番環境での利用が避けられることが多かった これは Heroku の Common Runtime には Tokyo region がなく US 等のサーバーと通信するとレイテンシが大きいため1 実際、Wantedly 社なんかもレイテンシを理由に Heroku から AWS に移行している だが、Service Worker の先読みと Fastly（のような instant purge 可能な CDN）の登場により、このレイテンシの影響は極小化された のではないか 多くのリクエストは Fastly のエッジサーバー からレスポンスを返せるはず

ジョブの実行をテストしたいとき、キューに入ったことをテストしたいだけのときと、その実行結果まで含めてテストしたいとき（つまり同期実行したいとき）がある。 前者であればRails.application.config.active_job.queue_adapter = :testで足りるが、後者を実現するためにはどうすればよいだろう。 方法はいくつかあって、まずはRails.application.config.active_job.queue_adapter = :inlineとする方法。 これは簡単に同期実行は実現できるが、こんどはキューに入ったことが確認できなくなってしまうし、他の非同期のままにしておきたいところまで影響がでてしまう。 またSidekiqを使っているのであればSidekiq::Testing.inline!やSidekiq::Testing.fake! で制御すること

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに 実際の開発や作業で正規表現を使っていくのが覚えるにも学ぶにも一番とは思いますが、 面白そうなゲームやツールで電車の中でも正規表現が学べそうなものをいくつか見つけましたので メモ程度に紹介します。 手軽でシンプルながら奥深い正規表現のツールで ちょっと燃えるクイズゲームを楽しんでみませんか。 RegEx Generator：ツール スマホアプリです。 条件を選択・入力すると正規表現を作ってくれます。 チートシートもあります。 (画像はGooglePlayより) 正規表現勉強中の方にオススメ、こんなのもあるんだなーとなりますよ。 RegExp playground ：ツール ブラウザのツールです。 作ってみた正規表現を試したい時に。 上に正規表現を入力すると、 下に入力された文字列で何がマッチするか可視化してくれる、 テストとしてもゲームとしても楽しいブラウザツールです。 何もマッチ

A crossword puzzle game using regular expressions. Earn achievements completing puzzle challenges. Easy tutorials for people new to regular expressions.

お疲れ様です、ししなみです。 掲題の件について、そんなんEC2でもGCEでもええやん と思った人がいるかと思いますが ローカルで shが動く事に意味があります。 そう、通信しないでいいってことです。 いや gitもlambdaUPも通信必要ですが、 それは通信が通る環境、つまりwifiとかある環境で叩けばいい事で え？セルラーモデル買えばいいって？ ししなみも iPad Pro のセルラーモデルですが それでも通信が途絶する環境ってのはあるんですよ。。。 と に か く 今回は iPad pro ローカルにPythonのすんばらしい開発環境を構築します。 必要資材 iOS (ししなみは iPadProですが iPhoneでも動作はすると思います） Pythonista3 https://appsto.re/jp/XxRUab.i Pythonista tools https://githu