ABEJA で Research Engineer をやっている中川です．普段は論文読んだり，機械学習モデルを実装したり，インフラを構築したりしています．今回のブログでは，Insight for Retail の一機能として提供しているリピータ分析に用いる特徴量DBの改善に向けた言語選定について紹介します． ※ たくさんの方々からのコメントありがとうございます．いただいた観点をベースに「2020-04-14 追記」以下に実験を追加しました． モチベーション リピート分析では，任意の特徴量をクエリに最も類似した特徴量を数100msec以内に検索する必要があり，一般的なデータベースでは実現することが難しいという課題がありました．そこで，われわれは python で独自のインメモリデータベースを実装し運用してきました．このデータベースがサービスの成長に合わせて限界を迎えつつあるので，アルゴリズム
アクセス権をリクエスト まずはMIMICへのアクセス権をもらう必要があります。以下、その手続きを開設していきますが、こちらも合わせて参照してください。 CITIトレーニング MIMICへのアクセス権をリクエストする前に、CITI programの”Data or Specimens Only Research”というコースを、オンラインで修了しておく必要があります。 まず、こちらのサイトに行き、”affiliation”のところで”Massachusetts Institute of Technology Affiliates”を選びます（”independent learner”ではないのでご注意を）。 “Massachusetts Institute of Technology Affiliates course”→”Human Subjects training category”→
RESTfulデータベースというと何のことやらといった感があるが、言わばキーと値のデータベースで、通信をHTTP経由で行うものだ。キーを指定してポストすれば新規追加され、ゲットを使ってデータを取得する。PUTで更新、DELETEで削除と言った具合だ。 Google App EngineをRESTfulなデータベースに！ そんなキーと値のデータベースは様々に存在する。リレーショナルデータベースと違って、単純なデータ構造だがテキストや文字列を扱うのに都合がいい場合もある。それをGoogle App Engineを使って実現するのがApp3だ。 App3はPythonで作られたオープンソース・ソフトウェアで、GPLの下に公開されている。 筆者環境ではまだうまくいっていないのだが、データはキーとともにJSON形式で保存できる。そしてGETを使ってデータを取得する。リストを使ってデータの一覧を取得す
Unverified details These details have not been verified by PyPI Project links Homepage Meta License: BSD Author: Olivier Lauzanne Maintainer: Gael Pasgrimaud Tags jquery, html, xml, scraping Provides-Extra: test pyquery: a jquery-like library for python pyquery allows you to make jquery queries on xml documents. The API is as much as possible similar to jquery. pyquery uses lxml for fast xml and h
Python Database Access Simplified FUTURE I do not plan to release or work on this library going forward. I'm not really using it much these days and it needs some work to modernize it. Feel free to reach out if you have questions. DOWNLOAD Here's a link to download the most recent version of this library. Download Now WHAT YOU GET In case you are wondering "What does this package do?", wonder no m
TokyoTyrant の pure python 実装、simplejson の中の人が作ってるみたいです。 早速使ってみましたが pytc のように Python の Dictionary のように使えるようにします。 pytyrant - Google Code 簡単なサンプル >>> import pytyrant >>> client = pytyrant.PyTyrant.open() >>> client['spam'] = 'eggs' >>> client.get('spam') 'eggs' >>> del client['spam'] >>> client.get('spam') >>> 使いやすいです。 Ian と Bob がいい話してた。 Twitter / Bob Ippolito: @IanMLewis pytyrant is fas ...
Python Database Access Simplified FUTURE I do not plan to release or work on this library going forward. I'm not really using it much these days and it needs some work to modernize it. Feel free to reach out if you have questions. DOWNLOAD Here's a link to download the most recent version of this library. Download Now WHAT YOU GET In case you are wondering "What does this package do?", wonder no m
RDBMS でツリーを表すこんなデータを AA でツリー表示するスクリプトを書いてみた。 1 11 12 11 21 22 21 23 22 41 51 52 51 80 81 80 82 81 83 82 99999#!/usr/bin/env python # -*- coding: utf-8 -*- import sys class Node: def __init__(self, value="", parentkey=""): self.value = value self.parentkey = parentkey self.children = [] self.parent = None def show(self, level): if self.value != "": print " " * level + self.value for x in self.child
RESTfulデータベースというと何のことやらといった感があるが、言わばキーと値のデータベースで、通信をHTTP経由で行うものだ。キーを指定してポストすれば新規追加され、ゲットを使ってデータを取得する。PUTで更新、DELETEで削除と言った具合だ。 Google App EngineをRESTfulなデータベースに！ そんなキーと値のデータベースは様々に存在する。リレーショナルデータベースと違って、単純なデータ構造だがテキストや文字列を扱うのに都合がいい場合もある。それをGoogle App Engineを使って実現するのがApp3だ。 App3はPythonで作られたオープンソース・ソフトウェアで、GPLの下に公開されている。 筆者環境ではまだうまくいっていないのだが、データはキーとともにJSON形式で保存できる。そしてGETを使ってデータを取得する。リストを使ってデータの一覧を取得す
Welcome to the final installment of this series, which has looked at the advantages of Django's loose binding philosophy. At first, we looked at replacing Django's templating system with Jinja2. Next, we looked at using SQLAlchemy instead of Django's ORM, and in this third segment we are going to look at using CouchDB instead of a traditional object relational database for data storage. CouchDB is
業務上では実際に使う作業用ファイルのほかに、皆で参考にする系統のファイルが存在する。PDFや画像、動画といった類のファイルだ。写真を扱うサイト等は特に多いだろう。 そうした情報をうまく管理できれば、業務の効率化が進められるはずだ。まずは一元管理からはじめよう。 今回紹介するオープンソース・ソフトウェアはmediatum、メディアを一元管理するためのプラットフォームだ。 mediatumはLinuxまたはWindowsで動作する。Windowsの場合インストーラーを使うだけで完了し、Webサーバも付属するので手軽だ。 扱えるファイルの種類は動画、またはPDF、PSそして画像（JPEG/PNG/TIFF/SWF）になっている。これらを登録すると、全文検索がインデックスを作成してくれるので後から容易に検索できる。 各ユーザ単位にアクセス権限を細かく指定できるのがmediatumの売りだ。チーム単
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
