『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
プロファイリング・自動意思決定とプライバシーに 関するEU（GDPR）・英国の動向 2018年9月25日 国際社会経済研究所 小泉 雄介 １．プロファイリング・自動意思決定と プライバシー等に関する論点 3 プロファイリングとは何か（1/2） ○ビッグデータ・AI分析におけるプロファイリングとは • 犯罪捜査、犯罪心理学におけるプロファイリングと類似 • ※犯罪捜査におけるプロファイリング： 犯行現場、被害者の状況、犯人の行動パターン、遺 留品や遺体の状況などから、犯人の年齢、性別、職業、家族構成、性格、精神疾患の有無な どの属性を推定すること。 • ある人物について、既知の情報から、その人物の既知でない情報（※1）を推定したり、 将来の行動やリスク（※2）を予測すること。 • ※1： 趣味・嗜好、収入（返済能力）、健康状態・持病、性別、年代、人種・宗教等。 • ※2： 購買行動、業務パフ
この記事は「STORIA法律事務所」のブログに掲載された「リクナビ「内定辞退率」データ提供の法的論点まとめと、プロファイリングの法的問題について」（2019年8月26日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 リクルートキャリア社が「リクナビDMPフォロー」サービスにおいて、いわゆる「内定辞退率」データを採用企業に提供していた件が連日のように報道されています。 本件については既に外部サイトに寄稿しておりますが、今回は「リクナビDMPフォロー」をめぐる法的論点を網羅的に確認するとともに、上記の記事では触れられなかったプロファイリングの法的問題について取り上げてみます。 プロファイリングとは何か 「リクナビDMPフォロー」では、学生ユーザーのリクナビ2020等のWebサイトにおける閲覧履歴をもとに「内定辞退率」データが生成されていた点が問題となりました。 Web
Netflixのパフォーマンスエンジニアである筆者からの、topコマンドなどで表示されるCPU使用率(%CPU)は、いまや本当の使用率を表しておらず、チューニングなどのための指標として使えないという指摘。なぜそうなってしまったのか、何を見れば本当のCPU使用率がわかるのかをわかりやすく解説した記事。 私たちみんながCPU使用率として使っている指標は非常に誤解を招くもので、この状況は毎年悪化しています。CPU使用率とは何でしょうか？プロセッサーがどのくらい忙しいか？違います。CPU使用率が表しているのはそれではありません。私が話しているのは、あちこちで、あらゆる人たちに、あらゆる監視製品で、あるいはtop(1)でも使われている、"%CPU"という指標のことです。 あなたの考えているであろうCPU使用率90% : 実際 : "stalled"(訳注 : 以下ストールと言う)とは、プロセッサーが
$ alp --help alp is the access log profiler for LTSV, JSON, Pcap, and others. Usage: alp [flags] alp [command] Available Commands: completion Generate the autocompletion script for the specified shell count Count by log entries diff Show the difference between the two profile results help Help about any command json Profile the logs for JSON ltsv Profile the logs for LTSV pcap Profile the HTTP req
あらすじ Web技術が複雑になる中で、JavaScriptのプロファイリングをとる方法とは。 プロファイリングを取るためのコードを手で書いてみましょう。 とてもシンプルで、かつ最高のJavaScriptプロファイラ sjsp を作りました。 本当にあった怖い話 上司 「とにかくJavaScriptのコードを速くしてくれ」 私 「分かりました、速くします」 (次の日) 私 「いいプロファイラがないなら作ればいいじゃない」 同じチームの人 「えっ？」 私 「最高のJavaScriptプロファイラ作ったよ」 同じチームの人 「「えっえっ？？？」」 私 「早速使ってみたらこことここが遅いって分かったよ」 同じチームの人 「「「この子は一体…」」」 JavaScriptのプロファイリングの難しさ 近年、Webブラウザーの処理速度は著しく向上し、その可用性の高さから、アプリケーションのプラットフォーム
The document discusses why a Go program may be slow and provides tips for profiling and optimizing Go code performance. It introduces the pprof CPU profiler and how to use it to analyze performance bottlenecks. Some factors that can slow down Go programs include garbage collection, memory copying, and function calls. The document hopes that future versions of Go will include features like concurre
以前 Perl で、forkして並列実行するベンチマークを取るためのライブラリ、Parallel::Benchmark というのを書きました。 Parallel::Benchmark というモジュールを書きました - 酒日記 はてな支店 これを使うと、単に Perl コードのベンチマークだけではなく、並列に外部にアクセスして計測を行うような (たとえばApacheBenchのような) ベンチマークツールが簡単に作れるので重宝しています。(仕事では、ソーシャルゲームのサーバアプリケーションに対する負荷テストを行うために使ったりもしています) で、思い立って Go 版を書きました。 kayac/parallel-benchmark · GitHub 使用例 フィボナッチ数を求めるコードを並列実行するベンチマーク fib(30) を1回計算するごとにスコア1とする 10個の goroutine
5. How to profile your MySQL? ● dstat -apr ● 他のサーバーと比べる時に便利 ● SET GLOBAL する時は一緒に流しておく ● 定常値的なものを把握するのに ● カーネルによっては -r 使えない ● iostat -mx ● await, svctm あたり ● I/O なのかそれ以外なのか…というあたり ● top -iH -p `pidof mysqld` ● 見るのは State くらい ● "f"=> "J"(CPU 番号 ), "P"(SWAP) 6. How to profile your MySQL? ● perf top -p `pidof mysqld` ● 役に立ったことはないけど紳士のたしなみ ● pt-ioprofile --cell sizes --run-time 10 ● どのファイルに対して I/O したか見
渋日記@shibu.jp 渋川よしきの日記です。ソフトウェア開発とか、ライフハックを中心に記事を書いていきます。 メモリリーク。一言でプログラマを死に追いやる恐怖の言葉。C/C++の世界ではmallocしたのにfreeしないとかのケアレスミスでよく起きていた問題です。その後、ガベージコレクタが掃除してくれるプログラミング言語が増え、一部の言語で循環参照に気をつけるぐらいであまり気にしなくても良い的な風潮になっています。 というものの、そうとも言ってられなくない状況も増えてきています。クラウドのスケールアウトブームも一段落というかコモディティ化し、go言語で再び性能向上方面に関心が寄せられたり、日本でErlangの勉強会が満席になったり、スケールアウトから再びスケールアップ方面に話題が移りつつあるのを感じます。長時間稼働のサーバで、スケールアップしてさらに数多くのリクエストを大量に受けるよう
Webフロントエンドのパフォーマンスチューニングについて全体的な話。javascript、Chrome DevToolsの紹介、ボトルネック、ポイントなど。
This document discusses profiling Go programs. It begins by stating the golden rule of premature optimization and emphasizes the importance of measuring before optimizing. Several Go profiling tools are described, including tools for timing, CPU profiling, and memory profiling. An example of a badly implemented LRU cache is provided and profiled to identify inefficiencies. Various improvements are
Devel::NYTProf は Perl5 の世界でもっとも人気があるプロファイラである。表示が美麗であるし、ステップごとの処理速度が簡単にわかるのでとても便利だ。 そんな Devel::NYTProf であるが、Starlet/Starman のようなプリフォーク式のサーバーでうごくウェブアプリケーションとくみあわせる場合の方法論として、わかりやすい資料がみあたらなかったのでここに記すものである。 環境変数 NYTPROF を設定する Devel::NYTProf は環境変数で挙動を変えられる。 plack とくみあわせる場合には、以下のようにするとよい。 NYTPROF=sigexit=int:savesrc=0:start=no sigexit=int 通常、Devel::NYTProf は END { } ブロックでデータのファイナライズ処理をおこなうのだが、SIGNAL によっ
In most JavaScript engines, there is a global object console with methods for logging and debugging. That object is not part of the language proper, but has become a de facto standard, since being pioneered by the Firebug debugger. Since their main purpose is debugging, the console methods will most frequently be used during development and rarely in deployed code. This blog post gives an overview
pt-ioprofileでMySQLのテンポラリテーブルのサイズを測る
Percona-Toolkitのうちの1つにpt-ioprofileというやつがあって、 straceでwriteやread, fsyncのシステムコール呼び出し状況を記録して、 lsofでファイルディスクリプタ番号と紐付けて、集計して出してくれたりする。 一番単純な使い方は多分こんな感じ。 # pt-ioprofile --cell sizes --run-time 60 2013年 1月 6日 日曜日 17:08:03 JST Tracing process ID 1824 total read pread64 pwrite64 write open _llseek filename 2191 0 1024 1167 0 0 0 /var
某所に300ホスト以上を2年ほど監視していたZabbixのMySQLがありまして、データが100GBぐらいになってメモリ8GBのホストではdisk IOが辛くなってきたので、移行することにしました。普段はそんなにでもないのですが、housekeeperが動作して古いデータを消しに行くとバッファプールに乗っていない部分に読みに行って重いのです。 この際折角なので Intel S3700 (サーバ用のSSD) をおごり、 Zabbix-1.8 から 2.0 にアップグレード MySQL-5.0.77 から MySQL-5.6.11 に変更 システムは HDD で /dev/sda1 データは SSD で /dev/sdb1 を /data にマウント という構成で移行の検証を行っていたところ… MySQLのバージョンが大きく上がるので mysqldump を取得して restore 後、pat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
