本記事は、ドコモアドベントカレンダー2024 19日目の記事です🎄 こんにちは！NTTドコモ クロステック開発部の畑元です。業務ではヘルスケア領域におけるデータ分析やAI開発を行っています。 この記事ではベイズ推論による機械学習とRStanを用いた分析例をご紹介します。データサイエンス分野の方には馴染みのある話かもしれませんが、私はよく忘れてしまうので頭の整理も兼ねて書いていこうと思います。 ※数式が崩れる方は、数式の上で右クリックして、Math Settings > Math Renderer > Common HTMLへ設定をご変更ください 1. はじめに 2. ベイズ推論について ベイズの定理 ベイズ推論 ベイズ的機械学習 3. 実際に動かしてみる 準備 探索的データ分析 ベイズ線形回帰 階層モデル 4. おわりに 参考書籍 1. はじめに 近年、AIに関する研究は急速に進歩し、あ

先日のことですが、Querie.meでこんな質疑がありました。 これは非常にご尤もなご意見であり、実際この問題提起に近いシチュエーションを見かけたことは五本の指では数え切れないくらいあります。ということで、今回の記事では元々の問題意識ともいえる「見せかけの回帰」について、久しぶりにちょっと復習を兼ねて書いてみようと思います。 そもそも「見せかけの回帰」とは何か 実際に見せかけの回帰において起きること 見せかけの回帰への対処法 差分系列に変換する VARモデルを使う 動的線形（状態空間）モデルやベイズ構造時系列モデルを使う Rコード そもそも「見せかけの回帰」とは何か このブログでは11年前に沖本本の輪読記事を書いた際に「見せかけの回帰」については一通り取り上げていますので、今回はその際の説明を引用するに留めます。 なお前提知識として先に書いておくと、以下に出てくる「単位根過程」というのは平

はじめに 概要 Kaggleのタイタニック問題をベイズ推定で解いてみる記事です． ソースコードは私のGitHubで公開しています． 紹介 統計学を齧っている経済学部4回生（ベイジアンの卵）です． 経緯 以前，『ベイズ統計でKaggleを解いてみる』という記事を投稿しました． 初投稿ということもあり，説明不足や改善点がいくつかみられたので，その修正版として本記事を投稿します． 対象者 統計学・ベイズ推定に興味がある ベイズ推定を学んでいる 実践的なベイズ推定をやってみたい 以上のような方が対象です．また，以前私が投稿したCmdStanの解説記事に目を通していることを前提とします． 実行環境 以下を参照してください． MacOS Sonoma 14.5 R version 4.4.0 (2024-04-24) RStudio 2024.04.2+764 (2024.04.2+764) {cmd

Rの神様、R関連のベストセラーの著者、気鋭の女性統計学者3人による、Rプログラミングを通してデータサイエンスの理解と知識を深めるための一冊。Rの機能と威力を熟知し、統計学と教育のプロフェッショナルでもある著者たちが、データサイエンスに必要なプロセス（インポート、整理、変換、可視化、モデル、コミュニケーション、プログラミング）を明確に定義し、それぞれ順を追ってていねいに説明。既存の入門書とは一線を画す一冊です。 はじめに Ⅰ部　全体像 1章　データ可視化 1.1　はじめに 1.1.1　準備するもの 1.2　第1ステップ 1.2.1　penguinsデータフレーム 1.2.2　最終的な目標 1.2.3　ggplotを組み立てる 1.2.4　装飾（エステティック）とレイヤの追加 1.3　ggplot2の呼び出し 1.4　分布の可視化 1.4.1　カテゴリ変数 1.4.2　数値変数 1.5　関係の

2022年に書いたRで論文を書く実践的なテクニック集のテーブル編をtinytable版で書き直したものです.　Quartoで書かれた英語版もありますので, そちらも参考にしてください. kableExtra, gt から tinytable の時代へ 近年, Rで表を作成するためのパッケージとして kableExtra と gt が人気を集めてきました. 私は kableExtra を使って論文（\LaTeX）で表を作成し, gt を使ってスライド (revealjs) で表を作成しており, 以前行ったRワークショップやZennでの解説記事でもkableExtraを念頭においておりました. しかし, 2024年4月現在, tinytableが従来のパッケージと比べ軽くて使いやすく, 今後のスタンダードになっていくと確信しており, 以前書いた記事を更新する必要があると考えました. この記事で

前提 設定 n 組の目的変数 y_i と p-1 個の説明変数 x_{1i}, x_{2i}, ..., x_{p-1,i} からなるデータセット(i=1, 2, ..., n)をもとに、線形回帰モデルを作成する： y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + ... \beta_{p-1} x_{p-1,i} + \varepsilon_i. ただし、\varepsilon_i は独立同時な分布に従う誤差項とし、その期待値は E[\varepsilon_i] = 0、分散は V[\varepsilon] = \sigma^2 とする。 この時上記のモデル式は、目的変数ベクトル \boldsymbol{Y} = (y_1, y_2, ..., y_n)^\top、計画行列 \boldsymbol{X}、回帰係数ベクトル \boldsym

経時データが観測されたとき、各観測のデータを関数として扱いその特徴を定量化するための方法について紹介します。Rによる分析コードとその解説も入れています。 （p6の「こちらのページ」はp33を指しています）

プログラミングの舞台裏には、異なるプログラミング言語を組み合わせて使用することで、プロジェクトに深みをもたらす魔法が広がっています。今回の記事では、PythonとR言語の連携に焦点を当て、データサイエンスの分野でこれらの言語を連携させることで得られる恩恵について詳しく探ってみましょう。 PythonとR言語: データサイエンスのダイナミックデュオ Pythonは豊富なライブラリやシンプルな構文を持ち、データ処理や機械学習分野で強力な存在です。一方で、R言語は統計解析や可視化に特化しており、データサイエンスの分野で広く使用されています。これらの異なる強みを連携させることで、データサイエンスのダイナミックデュオが誕生します。 連携の鍵: PythonからRスクリプトを呼び出す PythonからRスクリプトを呼び出すためには、subprocessモジュールを使用します。以下は基本的な例です。 i

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに こんにちは、事業会社で働いているデータサイエンティストです。 普段の業務ではR（とSQL）を使っていて、Rの最先端も確認していますので、今回の記事では最近CRANでリリースされた新しいオブジェクト指向システムS7について色々話そうと思います。 公式サイトはこちらです： 注意事項 公式サイトでも強調されていますが、S7はまだかなり早期の試みであって、パッケージとしては安定していません。なので、読者が本記事を数ヶ月後に確認する時、すでに一部の機能に重大な変更が入ってコードが実行できない可能性があります。 また、まだテスト段階のパッ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

First Visualizations: Frequencies Let us first visualize word frequencies. We can get these frequencies with the quanteda package, which implies transforming the column of lemmas (text.lemmas$lemma) into a quanteda tokens object, then to a document-feature matrix. Doing so, we only retain significant parts of phrases (nous, proper nouns, verbs and adjectives). This only partially spares us the tas

Rユーザーの生産性を高める Google Colaboratory/Kaggle Notebookが生産性を高める ～ノートブックでRを使用する～ 自身のPC上に毎回Rを実行できる環境を作るのは、時に大変な作業です。少しだけ使ってみたい場合やコードと実行結果を簡単に共有したい場合もあります。今回はそんなときに便利な、オンラインでコードを実行できる「Google Colaboratory」と「Kaggle Notebook」というサービスを紹介します。 どちらもコードと実行結果がまとめて表示できるノートブック形式で、かつオンライン上でコードを実行できるサービスです。この2つを使うと主に以下のようなメリットがあります。 環境構築が不要 実行結果とともにコードを共有できる GPUを使用できる Jupyter Notebook[1]など、ノートブックと聞くとPythonが思い浮かぶと思います。しか

2022年7月23日に行われた、第100回R勉強会@東京（#TokyoR）での発表資料です。 https://tokyor.connpass.com/event/253867/ 資料で使っているRコードはこちらになります。 https://github.com/dropout009/TokyoR100

Kaggleはすっかりただの野次馬の一人になって久しいんですが、しばらく前に行われたPetFinder.my - Pawpularity Contestというコンペで優勝者がSVR（サポートベクター回帰）を使ったことが話題になっていたというのを聞いて、NN全盛のこのご時世に意外だなと思ったのでした。 しかし、よくよく考えてみればかのVapnik御大がかつてSVMを考案する際にベースとしたアイデアはNNとは方向性の違う代物だったわけです。故に、例えばSVMとNNとがどのような点で異なるかが「見える化」出来れば、SVMが復権するための条件のようなものが見えてきそうです。 ということで、久しぶりに「サンプルデータで試す機械学習シリーズ」をやってみようと思います。実はDNNについては6年前にも似たようなことをやっているのですが、SVMとDNNとでサンプルサイズを変えながら比較するというのはやったこ