Gunosyデータ分析部アルバイトの五十嵐です。 Gunosyには大規模なKPIの時系列データがあります。 今回はKPIの時系列分析を行なった際に得た知見についてまとめたいと思います。 具体的にはFacebookが開発した時系列予測ツール Prophetを用いて、KPIのトレンド分析を行いました。 時系列予測について Prophetについて 実装例 モデルの適用 将来のアクセス数予測 トレンド性と周期性の抽出 変化点抽出 Slackを利用した自動化 まとめ 時系列予測について 以前、 KPIのトレンド抽出について以下のブログで紹介しました。 data.gunosy.io ここでは時系列データをトレンド成分と季節成分に分解し、トレンドの把握を容易にする分析を行なっていました。 KPIのトレンドを知ることでサービスの状態を把握することが目的でした。 今回はこの分析をさらに進め、トレンドの変化点
はじめに こんにちは。新規事業開発室の @yamarkz です。 先日行われたブロックチェーンエンジニア勉強会に参加し、登壇とLTを行なってきました。 今回は参加したイベントの内容をまとめてご紹介したいと思います。 勉強会にはLT枠での参加を応募していたのですが、発表枠が空いていたので、「登壇もさせてください！」とお願いしたところ「ぜひお願いします！」と運営の方にOKをもらい登壇しました。 急遽登壇をOKしてくださったイベント運営のみなさま、ありがとうございました。 はじめに 発表 Proof of Stake Casper Bitcoin スクリプトから理解するライトニングネットワーク 繋がる台帳の話 Lightning Talk ブロックチェーン技術R&Dの取り組み方法の紹介 まとめと所感 宣伝 発表 Proof of Stake Casper 1つ目は自分の発表。 speakerde
広告技術部のサンドバーグと星です。 普段の業務は、主に広告の管理システムの開発をしています。管理画面はRuby on Railsで作られており、今回は煩雑になりがちなE2Eのテストをきれいに書けたので、それについて話します。 背景 Gunosyの広告システムは4年以上前にリリースされ、これまで多くの機能が追加されてきました。 配信システムは一度リプレースされましたが、私達が運用している管理画面に関してはリプレース などはされず、現在も拡張され続けています。長く運用されているシステムのため 開発するメンバーの入れ替わりもあり、もちろん思想やコードスタイルも変わってきたため、 バグが発生しやすい環境になってしまっています。 ただ、外部のお客様も使う機能も含まれるため、バグが無いことを担保する必要があり、 テストがより重要になってきます。 また、複雑なデータ構造と画面操作があるため、単体テストで
いつものやつ はじめに 各研究の分類 ニュースの品質に関する研究 Predicting News Values from Headline Text and Emotion Incongruent Headline: Yet Another Way to Mislead Your Readers Deception Detection in News Reports in the Russian Language Fake News Detection using Stacked Ensemble of Classidiers From Clickbait to Fake News Detection: An Aproach based Detecting the Stance of Headlines to Articles ニュースとユーザとの関係に関する研究 Predicting U
この記事は Gunosy Advent Calendar 2017 4日目の記事です qiita.com はじめに こんにちは、データ分析部のy-abeです。 パーソナライズシリーズの続きになります。 tech.gunosy.io tech.gunosy.io 今回はワークフロー編です。 パーソナライズにおいてユーザーや記事の素性抽出や、モデル作成をするコンポーネントや記事リストを生成するAPIが必要です。 それらのコンポーネント間でうまくデータを取り回すためにはワークフローが重要です。 ワークフローは、いわばシステム上における兵站といってもいいでしょう。 「戦争のプロは兵站を語り、戦争の素人は戦略を語る」という名言もあるくらいです。 さて、パーソナライズ記事配信のタスクの流れをざっくりいうと、 ユーザーと記事の素性を集めて整形（ベクトル化） -> 機械学習でモデルを作成 -> 素性とモデ
こんにちは、Gunosyで新規事業担当兼CTOの松本（@y_matsuwitter）です。 先日、弊社にてblockchain.tokyo#2を開催しましたが、まとめ記事はAnypayさんの方で書いていただいたようですので、本イベントでトークさせていただいたSolidity with Test＆CIについて簡易にこちらにも共有させていただこうかとおもいます。 medium.com 本トークでは、Ethereumの詳細面よりも、実際にEthereumに興味をもったデベロッパーの皆さんが簡単に開発環境を構築してコードを書き始めてもらうことを主眼に用意したものなので、Truffleによるテストをすでに進めているという方には物足りないかもしれません。 スライドはこちら。 Ethereum、EVM、そしてSolidity 今回の勉強会では個人的に調査・開発しているEthereum、およびその上でのア
はじめまして、Gunosyでサーバーサイドエンジニアをしているmanoと申します。 最近ハマっていることは、Huluで安室奈美恵さんの特番をみることです。引退するなんて・・・本当に惜しいですね。 私は現在ニュースパスというアプリのサーバーサイド開発を担当しています。 ニュースパスでは、記事検索機能等でElasticsearchを使っています。運用周りではcuratorを使っています。 最近そのあたりでハマってしまったことがあったので、今回はそれについて書こうと思います。 起こったこと 開発環境にて、Elasticsearchのノードインスタンスをシャットダウンしたときに、いくつかのシャードがunassignedになりステータスもredとなってしまうということがありました。 それでも検索機能は生きてはいたのですが、それによりレスポンスタイムが大幅に増加してしまっていました。 下の画像は当時の
新規事業開発室の高橋(@__timakin__) です。 11/1付でMasashiSalvador さんがGunosyにジョインしました！手に持っているのはシロクマの人形です。 サルバさんはDeNAやエウレカでのアドテク基盤や課金設計、チーム責任者を経て、旅行系サービスの起業、その後GunosyにJoinしてくださいました。好きな言語はSwiftだそうです。 学生時代は理化学研究所のBSIというところで、海馬の空間記憶の計算モデルについての研究をされていたそうです。 弊社はGunosy開発チームで動画周りをはじめとして力になってくださいます。これからよろしくお願いします！ なお、弊社では引き続き多くの部署で人材を募集しています。ぜひご応募ください！ gunosy.co.jp
こんにちは、新規事業開発室のエンジニア渡辺です。 先日「第12回若手Webエンジニア交流会」にてA/Bテストに関する簡単なLTを行いました。 今回はその発表資料を共有したいと思います。 イベントページ wakateweb.connpass.com スライド 発表内容について A/Bテストはプロダクトを継続的に改善する手法として各社で利用されていると思いますが、 今回はA/Bテストを行う際によく直面する問題とその解決方法について、新規事業開発室で 開発を行なっている「ルクラ」での事例を紹介しながら行いました。 イベントについて 文字通り若手のウェブエンジニアが多く参加しており、10代の参加者も多かったように感じました。 このようなイベントでの登壇は初めてでしたが、「若手の発表機会を増やすことが目的」のイベントということもあり、 会場の雰囲気もよく、登壇慣れしたいエンジニア向けにとても良いイベ
広告技術部の今川です。 わたしは主にGoを使って広告配信APIの改修を担当しています。 今回はAPIの高速化のためにキャッシュを使った話をご紹介します。 データベースへのアクセス頻度を減らすための努力 広告技術部では、広告配信APIのCTRの予測で利用する特徴ベクトルをAmazon Auroraに保存しています。 しかし、単純にデータ取得時に毎回Auroraに問い合わせていては処理速度が遅くなってしまうので、以下の二種類の方法で高速化を図っています。 1. キャッシュする 予測ロジックで利用するデータの中でも、ユーザーに関するベクトルはユーザーIDをキーにユーザー数だけのデータが存在する反面、すべてのユーザーが同じ時間帯にアクセスするとは限らず、一度訪問したユーザーが続けて何回もアクセスする場合が多いという特徴があります。 このため、利用したいデータがキャッシュに無ければAuroraに問い
こんにちは！広報のおだんみつです。ニュースパス開発部のエンジニアの横山と加藤が共同で執筆した『Pythonによるクローラー&スクレイピング入門』が10月23日に発売されることになりました〜！！ 本には書かれていない解説が載っているPDF特典の予約キャンペーンを実施中だそうで、気になる方はこちらの予約特典サイトをご覧ください。 『Pythonによるクローラー&スクレイピング入門』Amazon予約特典キャンペーン ｜ 翔泳社の本 クローラーのプロたちから学んだ極意とは？著者インタビュー 出版を記念して、著者のお二人にインタビューしてきました！「クローラー開発未経験の方に読んでもらいたい」という想いを込めた今回の本、どんな経験を通して書かれたのでしょうか？ ー お二人のプロフィールを教えてください。 横山：サーバーサイドエンジニアの横山です。サーバーサイドエンジニア歴は10年程で、Gunosy歴
こんにちは、新規事業開発室のエンジニアの@__timakin__です。上記は生産性が全く上がっていない様子です。 forkwell_meetupというイベントにところで「チームの生産性を上げる的な話をしてください」というフリをされたので、偉そうな話をして来ました。 forkwell.connpass.com 発表について スライドは以下の通りです。 speakerdeck.com 冒頭の方に実際のSlackのチャンネルやカレンダーの様子を載せましたが、だいぶフランクにやりとりが行われています。 新規事業へもともと興味がある人間が集まると、そこまで強制しなくてもリサーチする流れが生まれますし、逆に言えば採用の段階で新規事業の立ち上げコストというのは決まってくるのだなと思います。 生産性とは 生産性とはなんぞやという話だったのですが、僕個人として言いたいのは「生産総量ではなくて投資効率性ですよ
The presentation slides at Forkwell Meetup #5
はじめまして、グノシー開発部新卒エンジニアの山本です。 主にグノシーのAndroid版や、最近リリースしたLucraのAndroid版を作ったり、サーバーサイドでGo/Pythonで開発をしたりしています。 少し時間が空いてしまいましたが、9月25~26日にニューヨークで開催されたdroidconNYC 2017に会社に費用を出してもらって参加してきました。 今回はそのレポートを書いていこうと思います。 droidconについて droidconとは世界各地で行われるAndroid専用のカンファレンスで、Android専用でいえば世界でも最大規模のカンファレンスです。 ニューヨークの他にもロンドンやベルリン等(日本はまだ😢)で行われ、終了後には各サービスでスライド等が盛り上がるので知ってる人も多いかと思います。 今回のdroidcon NYC 2017では70以上のセッションが行われ、9
はじめに こんにちは、データ分析部の森本です。 この記事ではGunosyデータ分析部がどのような視点に基づいてバッチアプリケーション（以下、バッチ）を開発・運用しているかしているのかを紹介します。 クライアントアプリ開発やAPI開発と比較してバッチ開発のノウハウなどをまとめたWeb記事の数は少なく感じます。 また、言語に関わらずWebフレームワークの数に対して、バッチフレームワークの数も少数です。 このような点を踏まえると一般的には難易度の高くない（ノウハウを必要としない、フレームワークに頼る必要のない）、もしくはニーズがあまりないなどの印象があるのかもしれません。 一方で我々は日々バッチ開発を行い、数多くの地雷を踏んできました。 これらの経験を踏まえてどのような点に気をつけているのかについて共有します。 理想的には多くの方の経験を共有して、建設的な議論に発展するとうれしいです。 はじめに
はじめまして、新規事業開発室の生田です。 10/3(火)に開催したblockchain.tokyo#1について紹介します。 blockchain.tokyoは主に仮想通貨/ブロックチェーン/ICO関連の技術に関する発表を中心に行う勉強会です。 blockchain-tokyo.connpass.com 会場について 今回は、弊社のスキップヒルを使って実施しました。 天気がいい日には、バックに東京タワーが綺麗に見える開放感のあるスペースで、普段は全社の朝会などに利用しています。 発表について Payment Channel Introduction 弊社新規事業開発室の@mosa_siruより、送金確定までに時間がかかるというブロックチェーンが抱えている課題を解決するPayment Channelに関する発表です。 Payment Channel Introduction from mosa
かとうです。Tシャツだけで出かけるには厳しい季節になって来ましたね。 gunosy.fm第6回は、Gunosyテックブログでおなじみのちまきんさん（@__timakin__）とサービス開発、golangへのcontribute、ブロックチェーンについて話しました。 ちまきんさんがOSSにコミットした時の気持ちや、そのために情報収集はどんなことしているか、などの話が参考になるかと思います。 また最近話題のブロックチェーンの話も必聴です。 トーク中に話題になったリンクはこちらです。 LUCRA - ルクラ マイクロチームでの高速な新規開発を支える開発・分析基盤 BOOT.FM 「今年は…何か大きめのOSSにコントリビュートしたいですね」 qunosy blockchain.tokyo HyperLedger Today IPFS is the Distributed Web Hyperledg
どうも、Gunosyの新規事業開発室エンジニア、高橋（@__timakin__）です。 先日行われたgolang.tokyo#9にて、GoのAPIサーバーの設計についてトークをする機会を頂いたので、いってきました。 スライドはこちらです。全編英語となっておりますが、ご覧頂けると幸いです。 speakerdeck.com 概要 アジェンダの前の序文にも書いてあるのですが、GoのAPIが大企業で試験的に導入するというフェーズを超え、スタートアップなどでも「Goって最近トレンドだよね」という声が聞こえ、小規模のチームでも積極的に登用されるようになってきたように感じます。 あくまで個人の観測範囲での話なのでバイアスがあるとは思いますが、「試してみた」というトークが界隈でも最近少なくなったように思います。 そんな中、参考例となるGoのAPIのOSSは非常に少ないため、新規に始めるハードルは、学習コス
こんにちは、来年度からデータ分析部に所属する山田です。 今はまだ学生です。 一足先にGunosy Summer Internship 2017 データ分析コースのメンターアルバイトとして参加したので、その様子や知見を記していきたいと思います！ Gunosy Summer Internship 2017 について 「データ分析コース」の様子 講義 ランチ・新卒トーク ワーク ベンチマークシステム 作業環境 結果発表 インターンでの気付き（メンター山田） インターン参加者の感想 第一回 京都大学大学院 澤田さん 手法について 限られた時間で形にすること 教訓みたいなもの 東京大学 原田さん 用いた手法について 参加してみての感想 東京大学 丹羽さん 用いた手法、時間の使い方 学びと感想 筑波大学 小林さん 用いた手法について 感想 インターン参加者の感想 第二回 大阪大学 中村さん 分析に用い
ソフトウェア品質シンポジウム2017へ行ってきました こんにちは、運用推進開発部QAチームの id: qa00qaです。 突然ですが、みなさんソフトウェア品質ってなんですか？ QAチームは先日開催されたソフトウェア品質シンポジウム2017へ行ってきました。 会場 会場は東洋大学 白山キャンパス。 白山駅から徒歩5分ほどの場所にあります。 オープニングが行われた東洋大学内の会場前 東洋大学といえば・・・！ 東洋大学といえば、男子100mで9秒98の日本新記録を出した桐生祥秀選手ですね！ 会場の大学構内には桐生選手の写真や記事がいたるところに飾ってありました。 gunosy.com 昼食は学食を利用 昼食は東洋大学内の学食を利用しました。 東洋大学の学食 これで680円・・・飲み物が1つの場合は500円です。 さすが学食、お手頃価格ですね・・・！ 1日目セッション所感 1日目は以下のセッション
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
