はてなブックマークアプリ

サクサク読めて、
アプリ限定の機能も多数!

アプリで開く

はてなブックマーク

  • はてなブックマークって?
  • アプリ・拡張の紹介
  • ユーザー登録
  • ログイン
  • Hatena

はてなブックマーク

トップへ戻る

  • 総合
    • 人気
    • 新着
    • IT
    • 最新ガジェット
    • 自然科学
    • 経済・金融
    • おもしろ
    • マンガ
    • ゲーム
    • はてなブログ(総合)
  • 一般
    • 人気
    • 新着
    • 社会ニュース
    • 地域
    • 国際
    • 天気
    • グルメ
    • 映画・音楽
    • スポーツ
    • はてな匿名ダイアリー
    • はてなブログ(一般)
  • 世の中
    • 人気
    • 新着
    • 新型コロナウイルス
    • 働き方
    • 生き方
    • 地域
    • 医療・ヘルス
    • 教育
    • はてな匿名ダイアリー
    • はてなブログ(世の中)
  • 政治と経済
    • 人気
    • 新着
    • 政治
    • 経済・金融
    • 企業
    • 仕事・就職
    • マーケット
    • 国際
    • はてなブログ(政治と経済)
  • 暮らし
    • 人気
    • 新着
    • カルチャー・ライフスタイル
    • ファッション
    • 運動・エクササイズ
    • 結婚・子育て
    • 住まい
    • グルメ
    • 相続
    • はてなブログ(暮らし)
    • 掃除・整理整頓
    • 雑貨
    • 買ってよかったもの
    • 旅行
    • アウトドア
    • 趣味
  • 学び
    • 人気
    • 新着
    • 人文科学
    • 社会科学
    • 自然科学
    • 語学
    • ビジネス・経営学
    • デザイン
    • 法律
    • 本・書評
    • 将棋・囲碁
    • はてなブログ(学び)
  • テクノロジー
    • 人気
    • 新着
    • IT
    • セキュリティ技術
    • はてなブログ(テクノロジー)
    • AI・機械学習
    • プログラミング
    • エンジニア
  • おもしろ
    • 人気
    • 新着
    • まとめ
    • ネタ
    • おもしろ
    • これはすごい
    • かわいい
    • 雑学
    • 癒やし
    • はてなブログ(おもしろ)
  • エンタメ
    • 人気
    • 新着
    • スポーツ
    • 映画
    • 音楽
    • アイドル
    • 芸能
    • お笑い
    • サッカー
    • 話題の動画
    • はてなブログ(エンタメ)
  • アニメとゲーム
    • 人気
    • 新着
    • マンガ
    • Webマンガ
    • ゲーム
    • 任天堂
    • PlayStation
    • アニメ
    • バーチャルYouTuber
    • オタクカルチャー
    • はてなブログ(アニメとゲーム)
    • はてなブログ(ゲーム)
  • おすすめ

    参議院選挙2025

『qiita.com』

  • 人気
  • 新着
  • すべて
  • AWS Athena で CREATE TABLE する - Qiita

    3 users

    qiita.com/yoshiyama_hana

    はじめに AWS AthenaでCREATE TABLEを実行するやり方を紹介したいと思います。 CTAS(CREATE TABLE AS SELECT)は少し毛色が違うので、本記事では紹介しておりません。 AWS GlueのCrawlerを実行してメタデータカタログを作成、編集するのが一般的ですが、Crawlerの推論だとなかなかうまくいかないこともあり、カラム数やプロパティが単純な場合はAthenaでデータカタログを作る方が楽なケースが多いように感じます。 S3に配置されたデータに対してテーブルを作成する CREATE EXTERNAL TABLE 構文を用いてテーブルを作成いたします。 例として、今回は日本の人口推移データをs3://inu-is-dog/athena/c01.csvに配置しました。 (都合上、csvのヘッダーを英語表記に変更いたしました。) 出典:政府統計の総合窓口

    • テクノロジー
    • 2022/01/03 17:25
    • aws
    • 【クラウドエンジニア向け】無償公開されている講義資料・研修資料リンク集 - Qiita

      453 users

      qiita.com/yoshiyama_hana

      Cybozu 2019年エンジニア新人研修 内容 HTTP/DNS Linux ソフトウェアライセンス Git/GitHub Webアプリケーション基礎 ソフトウェアテスト&テスト自動化 Chrome Developer Toolsの使い方 データベース Docker Webアプリケーションセキュリティ Linux サーバの CPU やメモリリソースの管理について 実践 Go 言語 Kubernetes を使った開発入門 CI/CD スキーマファースト開発ハンズオン GraphQL編 資料 Cybozu 2020年エンジニア新人研修 内容 Webアプリケーション基礎 HTTP/DNS ソフトウェアライセンス スクラムトレーニング 品質保証活動に関するテスト全般からテスト自動化まで HTTPサーバー開発 デザインの役割と関わりかた セキュリティ アクセシビリティ Chrome Develop

      • テクノロジー
      • 2021/11/14 18:13
      • エンジニア
      • あとで読む
      • 資料
      • 学習
      • 技術
      • 勉強
      • qiita
      • まとめ
      • study
      • linux
      • Partition Projectionを用いてAthenaのテーブルのパーティション管理を自動化する - Qiita

        3 users

        qiita.com/yoshiyama_hana

        2020年 6月 20日にAthenaに追加された機能Partition Projectionについて紹介していきたいと思います。 Partition Projectionについて 通常Athenaはパーティショニングされたテーブルに対してクエリを実行する際にAWS GlueのデータカタログやHive Metastoreからテーブルのメタデータ情報(パーティション情報やカラム情報など)を取得し、クエリを処理します。 その際にパーティションが多数存在する場合、メタデータを取得する時間がボトルネックとなる可能性があります。 一方、Partition Projectionを用いた場合、GlueやHive Metastoreへメタデータを取得せずにAthenaのテーブル設定を参照してパーティション情報を取得します。そのため、パーティションが多数存在することによるボトルネックを緩和することが可能にな

        • テクノロジー
        • 2020/12/06 05:02
        • AWS Athenaでのタイムスタンプの扱い方 まとめ - Qiita

          5 users

          qiita.com/yoshiyama_hana

          Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

          • テクノロジー
          • 2020/11/20 09:07
          • athena
          • aws
          • qiita
          • SQS → Lambdaのリトライ処理について整理してみた - Qiita

            6 users

            qiita.com/yoshiyama_hana

            2018年の6月より、AWS LambdaのイベントソースとしてSQSが選択できるようになりました。 今回はLambdaのイベントソースでSQSを選択し、Lambda側で処理が失敗した場合、どのようにリトライ処理が行われるのかについて整理してみました。 リソースの作成 今回は、SNS → SQS → Lambda の構成で検証していきたいので、それぞれのリソースを作成いたします。 SQS "inu-queue"というキュー名でキューを作成いたします。キューの種類は標準で各設定値はデフォルトです。 そして、"inu-dlq"というキュー名でDLQ(デッドレターキュー)用のキューも作成します。こちらもキューの種類は標準で各設定値はデフォルトになります。 2つのキューを作成したら"inu-queue"のDLQの設定を行います。 DLQの設定方法は、AWSコンソール画面だと以下の手順で設定すること

            • テクノロジー
            • 2020/06/21 04:00
            • SQS
            • qiita
            • AWS
            • 【AWS認定試験対策】VPC、Route53のポイントまとめ - Qiita

              3 users

              qiita.com/yoshiyama_hana

              はじめに AWSの認定試験を受験するにあたって、各AWSのサービスを幅広く理解する必要があったためサービスごとに抑えるべきポイント等をまとめてみました。 今回はVPC、Route53についてです。 ※情報は2019年12月31日時点のものになります。ご了承ください。 ちなみにAWS認定試験での勉強方法についてはこちらの記事で紹介しています。 AWS 認定Developer Associateに合格するまで Amazon VPC(Virtual Private Cloud)とは、AWS上での仮想ネットワーク環境になります。 以下が簡単な特徴になります。 料金は発生しない リージョンごとに作成可能 以下の制限がある リージョンあたりのVPCは5まで(制限緩和で100まで引き上げ可能) VPCあたりのサブネットの数は200まで VPC 当たりの IPv4 CIDR ブロックは5まで(最大50まで

              • テクノロジー
              • 2020/02/16 20:15
              • AWS 認定Developer Associate に合格するまで - Qiita

                7 users

                qiita.com/yoshiyama_hana

                Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事では、いかにして私が2週間ほどの勉強期間でデベロッパーアソシエイトの認定を合格したのかを紹介いたします。 動機 今までの業務ではAWSを主に分析やETL処理といった用途で扱ってきたが、新しい業務ではAWSの基本的なサービスを抑える必要がありました。 そこで、AWSの勉強の1つのマイルストーンとして認定試験の合格とし、勉強をはじめました。 経歴 私は業務でデータエンジニア、データサイエンティストといった職種の業務を担当することが多く、触ったことがある AWSサービスはかなり偏っておりました。 (もちろん他のAWS認定資格

                • テクノロジー
                • 2020/01/27 12:29
                • AWS
                • 勉強
                • サービス
                • 【初心者向け】AWS Athena の 使い方 - Qiita

                  6 users

                  qiita.com/yoshiyama_hana

                  はじめに この記事は初めてAWS Athenaを利用するユーザーを対象にしております。 はじめてAWS Athenaを使う人のチュートリアルのようなものになれば幸いです。 AWS Athenaって何? 概要 簡単に言うと、AWSが提供するフルマネージドサービスで、S3にあるデータファイルに対してクエリを実行することの出来るサービスになります。 つまり、S3(オブジェクトストレージ)にデータ(csvやparquet)を配置してしまえば、それだけでそのデータの分析を始められることができます。フルマネージドサービスなのでサーバーの管理は不要ですし、データをRDBにインポートさせる手間も必要ありません。 料金 スキャンされたデータ 1 TB あたり 5USD (2019年7月13日 東京リージョン) これのみです。クエリを実行した分だけ料金が発生します。 1ドル=107円換算で1GBあたり約0.5

                  • テクノロジー
                  • 2019/07/14 13:01
                  • AWS
                  • 分析
                  • クラウド
                  • データ
                  • あとで読む

                  このページはまだ
                  ブックマークされていません

                  このページを最初にブックマークしてみませんか?

                  『qiita.com』の新着エントリーを見る

                  キーボードショートカット一覧

                  j次のブックマーク

                  k前のブックマーク

                  lあとで読む

                  eコメント一覧を開く

                  oページを開く

                  はてなブックマーク

                  • 総合
                  • 一般
                  • 世の中
                  • 政治と経済
                  • 暮らし
                  • 学び
                  • テクノロジー
                  • エンタメ
                  • アニメとゲーム
                  • おもしろ
                  • アプリ・拡張機能
                  • 開発ブログ
                  • ヘルプ
                  • お問い合わせ
                  • ガイドライン
                  • 利用規約
                  • プライバシーポリシー
                  • 利用者情報の外部送信について
                  • ガイドライン
                  • 利用規約
                  • プライバシーポリシー
                  • 利用者情報の外部送信について

                  公式Twitter

                  • 公式アカウント
                  • ホットエントリー

                  はてなのサービス

                  • はてなブログ
                  • はてなブログPro
                  • 人力検索はてな
                  • はてなブログ タグ
                  • はてなニュース
                  • ソレドコ
                  • App Storeからダウンロード
                  • Google Playで手に入れよう
                  Copyright © 2005-2025 Hatena. All Rights Reserved.
                  設定を変更しましたx