はてなブックマーク

本記事はこんな人におすすめ 本記事は次のような方々をターゲットに想定しています。 触れたことのない技術領域にチャレンジしたい方 これからデータエンジニアを目指したい方 プログラミング自体初心者の方 本記事の前提 まずは、本記事の前提となる筆者自身についてと、基盤構築課題について紹介します。 どんなレベル感の人が何を作るのかによって、詰まる箇所やキャッチアップに必要なものが変わってくるはずなので。 1. 筆者のスペックについて 筆者である私自身についてはじめに触れておきます。 入社時点での筆者のスペック、および経験は以下の通りです。 2024 年 4 月にクラウドエースに新卒入社 データエンジニアとしての経験はゼロ web アプリ開発経験が約 2 年 (実務経験あり) Git や基本的なコマンドなど、開発の土台となる知識は業務に困らない程度にはあり データエンジニアに役立ちそうなものとして、

はじめに こんにちは！SRE 部門所属の小林由暁です！ 今回は、Gemini API を活用したアプリケーション開発を始めたい方向けに、Gemini API 開発環境を 2 種類紹介します。 これから Gemini API を用いたアプリケーション開発を始めたい方や、既に利用されている方にも、参考になる情報があるかと思います。 最後まで確認していただけますと幸いです。 この記事のターゲット これから Gemini を利用したアプリケーション開発を実施したい方 Gemini API を利用した情報が、基盤モデルの学習に使われるか心配な方 Google AI Studio と Vertex AI Studio の違いが分からない方 Google AI Studio, Vertex AI Studio とは Gemini API を用いたアプリケーションの開発には、Google AI Studi

1. 公開を前提としている Firebase の API キーは、クライアントサイドのコードで使用することを前提に設計されています。 そのため、クライアントサイドのアプリケーションで Firebase SDK を初期化して、Firestore, Realtime Database, Cloud Storage for Firebase, Firebase Authentication など、各種サービスにアクセスするために、このキーが必要になるということです。 クライアントサイドでの Firebase SDK 初期化例 // File generated by FlutterFire CLI. // ignore_for_file: lines_longer_than_80_chars, avoid_classes_with_only_static_members import 'pack

こんにちは、クラウドエースの SRE チームに所属している妹尾です。 今回は OpenSSH の脆弱性についての記事です。 (この記事は 7/4 に速報版から正式版へ更新しました) 2024/07/02 に、CVE-2024-6387が発表されました。 これは放置しておくと SSH を受け付ける全てのサーバーを乗っ取る事ができてしまう脆弱性です。 厄介なことにデフォルト設定の SSH-Server と、ある程度の時間があればサーバーを乗っ取れてしまうので、緊急度もかなり高めになっております。 そして Compute Engine もこの影響を受ける ので、多くの環境で対策が必要となります。 結局どうすればいいの Google が公表している、 GCP-2024-040 の手順に従いましょう。 (日本語訳ページだとまだ公表されてないようですので、英語版を見てください) 具体的には、以下のよう

TL;DR 以下のように audio.autoGainControl オプションを指定することで、マイク入力のボリュームが自動で調整されます。 audio.autoGainControl は、audio: true と指定した場合にも、デフォルトで true になっています。 navigator.mediaDevices.getUserMedia({ audio: { autoGainControl: true } }); // or { audio: true } もしくは、chrome://flags/#enable-webrtc-allow-input-volume-adjustment を無効にすることで、autoGainControl を無効にすることができます。 対象読者 ブラウザでマイクを使う際に、マイクのボリュームが自動で調整されるのが気になる マイクを使う Web アプリ

アーキテクチャ図だけ描いてTerraformはGoogle Cloud Developer Cheat Sheetに書いてもらおう 初めての方は、初めまして。そうでない方も、初めまして。クラウドエース SRE 部で Professional Cooking Architect をしている zeta です。私はドンドコ島の充実度をオンライン1位(多分)にしましたが皆さんいかがお過ごしでしょうか。 はじめに クラウドエースの SRE 部は Google Cloud のインフラの面倒を見ることが主な業務です。世の中の多くの企業の似たような役割を持つ部署でもそうだと思いますが、インフラの設計・構築・運用といったフェーズを行っていきます。こういったインフラエンジニア的なことをやっていると、みなさんも一度ぐらいは「設計だけやったら勝手にインフラ構築されねーかな〜」なんて思ったことはあるのではないでしょ

はじめに こんにちは。クラウドエース株式会社の間瀬です。 今回は 2024 年 4 月にラスベガスで開催されている Google Cloud Next'24 で発表された Cloud Service Mesh について速報記事として情報をお届けしたいと思います。 関連するセッションの動画、スライドや公式ブログが既に公開されているため、引用しながら解説したいと思います。 サービスメッシュとは？ 分散された複数のアプリケーションから構成されるサービスにおいて、認証/認可、通信の暗号化、トラフィック管理/分割、ロギング、トレーシング、モニタリングといった各アプリケーションで横断的に実装する必要がある処理を担うレイヤです。 共通的な処理をサービスメッシュで担うことで、これら横断的な処理の統制を行いつつ、アプリケーションのビジネスロジックの開発に注力できるようになります。 従来より Google C

こんにちは！SRE 部門所属の小林由暁です！ 先日 Google Cloud 資格を転職一年以内にコンプリートすることを達成しました。 私自身、転職前は Google Cloud を含めたパブリッククラウドに関する業務が未経験だったため、今回の記事は、Google Cloud 未経験で資格取得に興味がある方やモチベーションを高めたい方に役立つ勉強方法や試験概要について幅広くお届けします。 皆さんの資格取得のモチベーション向上に繋がれば幸いです。 はじめに クラウドエース入社前は、別の会社に2020年にインフラエンジニアとして新卒入社し、3年間ほど在籍していました。 主な業務としては、アカウント管理システムの設計、構築業務を担当しており、その間にサーバの基礎やネットワークの基礎等を経験することが出来ました。 クラウドエース入社後には、以下の理由で資格取得を通じて自己研鑽することを決めていまし

こんにちは。クラウドエース SRE 部の阿部です。 このブログ記事では、 Container Registry を Artifact Registry に自動移行するツールを紹介したいと思います。 はじめに 以前、下記の記事で Container Registry の廃止について説明しました。これは 2023 年 5 月の記事で、かなり前に執筆した記事です。 その後、2024 年 3 月 18 日のリリースノートで正式に Container Registry の停止が告知されました。 2025 年 4 月 22 日以降、既存イメージの読み取りができなくなるため、それまでには前述の記事で紹介した方法等で Artifact Registry に移行する必要があります。 ただ、当時記事を書いていたときも思いましたが、移行は gcrane のような外部ツールを使う必要もあり、4 つのリポジトリに対

はじめに こんにちは、クラウドエース フロントエンドディビジョン所属の金です。 本記事では End to End テスト (E2E テスト) のツールの一つである Playwright について基本的な機能を中心にご紹介します。 本記事の対象者 E2E テストの初心者 Playwright を軽く試してみたい人 End to End (E2E) テストとは Playwright のご紹介を始める前に、E2E テストについて簡単にご説明します。 E2E テストは、アプリケーションが意図通りに動作するかどうかをテストするためのソフトウェアテスト技術です。 ご参考: E2E (エンドツーエンド) テストとは？ | CircleCI フロントエンドの E2E テストとは フロントエンドの E2E テストは、主にブラウザ上での動作を検証します。 サービスによって異なりますが、一般的には以下の項目がテ

はじめに こんにちは、クラウドエース Backend Division 所属の秋庭です。 私は今年新卒で入社したのですが、入った案件では DDD (ドメイン駆動設計)を元に設計・実装が行われていたため DDD について学ぶ必要がありました。 この記事は、私が何も知らない状態から DDD について学び始めた一歩目のアウトプットであり、同様にこれから一歩を踏み出す方の手助けになるものとなったら嬉しいです。 この DDD 入門記事は大きく「用語解説・モデリング編」と「コーディング編」に分かれており、用語の紹介と実際の作業を通して DDD の概観を紹介できればと思います。 この記事は「用語解説・モデリング編」となります。この記事の続きとなる「コーディング編」もぜひご覧ください！ 対象 想定読者 DDD の用語や概念、モデリングについてこれから学ぼうと考えている方。 記事内容 この記事では主に DD

1. はじめに こんにちは、クラウドエース データソリューション部所属の泉澤です。 クラウドエースの IT エンジニアリングを担うシステム統括部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータソリューション部です。 データソリューション部では活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、Vertex AI に AutoSxS (automatic side-by-side) という 大規模言語モデル (LLM: Large Lanuage Model) の自動評価ツールが追加された、という内容のものです。 このリリースは 2024/01/08 にあり

このように、層ごとに関心事の分離を行うことで、保守性の高い（変更容易性や再利用性等）アプリケーションを実現できます。 しかし、「トランザクション」においてはどうでしょうか。 トランザクションはビジネス領域においても、技術領域においても関心事がある内容です。 そういう曖昧なものは「ひとまず usecase 層に入れてしまえ」という方針になりがちです。 ですが、DB 固有の知識を usecase 層の関心事にしてしまっては、関心事の分離をするメリットが得られません。 そのため、関心事の分離を実現しつつトランザクション実装をする方法を模索してみました。 前提 1. クリーンアーキテクチャを採用している（オニオンアーキテクチャやレイヤードアーキテクチャも含む） そもそもビジネス知識と技術知識を分離していないアーキテクチャを採用している場合、メリットは得られません。 そのため、オニオンアーキテクチャ

はじめに こんにちは。クラウドエース株式会社で主にアプリケーション開発を担当している水野です。 今回は、Go 言語でトレース計装する際のサンプル集をご紹介します。 OpenTelemetry は、アプリケーションのオブザーバビリティを実現するための OSS です。 対象読者 手動計装は、アプリケーションコードを煩雑化してしまう可能性もあるため 「できるだけ最小限な構成で手軽に導入したい」という方もいると思います。 そんな方に すぐ活用できる！ような記事となっています。 使用技術 Golang OpenTelemetry Google Cloud Cloud Trace Cloud Logging Cloud Pub/Sub Cloud SQL 方針 アプリケーション実装は最小限にする（ライブラリの力をできるだけ借りる） 計装箇所 API (incoming, outgoing) http

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ

こんにちは、クラウドエース SRE ディビジョン所属の茜です。 今回は、現在最も普及している対話型 AI サービスである ChatGPT で使用されているモデルと、LLM を使ったアプリケーション開発に特化したライブラリである LangChain を用いて社内向けのチャットボットを作成します。 ターゲット 任意のデータを元に回答を行うチャットボットを作成したい方 任意のデータを元に回答させる仕組みを知りたい方 ChatGPT とは ChatGPT とは、ユーザーが入力した質問に対して、まるで人間のように自然な対話形式でAIが答えるチャットサービスです。2022 年 11 月に公開されて以来、回答精度の高さが話題となり、利用者が急増しています。 人工知能の研究開発機関「OpenAI」により開発されました。 執筆時点では、GPT-3.5、GPT-4 という大規模言語モデル (LLM) が使用さ

はじめに こんにちは、Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データソリューション部の松本です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する方法についてご紹介します。 この記事はこんな人にオススメ BigQuery の SQL のみで LLM を使った問合せシステムを構築したい BigQue

こんにちは、クラウドエースの阿部です。 今回の記事では、 2024 年 1 月 10 日に正式リリースされた OpenTofu について紹介したいと思います。 OpenTofu とは OpenTofu は、Terraform からフォークして開発を開始したオープンソースソフトウェア(OSS)です。 OpenTofu プロジェクトが発足した詳細は割愛しますが、去年 10 月頃から Hashicorp 社は公開している OSS のライセンスを MPL2.0 から BSL1.1 に変更したことに伴い、Terraform のソースコードを流用したり Terraform 自体を自社提供サービスに組み込んでいる組織が継続できないおそれがでたため、MPL 2.0 の時点の最新版(Terraform 1.5 系)からフォークしてライセンスの問題に対応するプロジェクトを発足した、と筆者は認識しています。なお

はじめに こんにちは。今年クラウドエース株式会社に新卒入社し、現在 SRE をしている渋谷と申します。 自分の愛車は MAZDA の RX-8 という車なのですが、この車に搭載されているロータリーエンジン（おにぎりエンジン）にちなんで、自分が執筆する記事のアイキャッチは 🍙 にすることにしました。 さて、この記事では GUI を用いてコンテナを管理・操作する際に使用されるコンテナ管理ツールとして代表的な以下の 3つのツールを紹介し、機能検証を行います。 Docker Desktop Rancher Desktop Podman Desktop それぞれのコンテナ管理ツールのメリット・デメリットを解説し、最後に自分が選んだコンテナ管理ツールを紹介します。 自分の用途に合ったコンテナ管理ツールを選択することで、より快適に Docker を使用することができるようになると思いますので、ぜひ参考

$ terraform import google_project_iam_member.default "my-project roles/viewer user:foo@example.com" さらに、その後は .tf と import 後の .tfstate の差分を無くすためにドキュメント等を確認しながら .tf を更新していく必要がありました。 しかし、v1.5.0 以降のバージョンでは、少々手間に感じていた上記の作業を効率化することができるようになりました。 それが、本記事のテーマとなっている import ブロック & HCL コードの自動生成オプション となります。 検証環境 IaC Tool Terraform v1.6.0 Google Provider v4.56.0 Infrastructure Google Cloud 使用方法 それでは、import ブロック

こんにちは、SRE ディビジョンの小堀内です。 今回は Google Cloud に関するテーマとは異なるテーマで記事を執筆させていただきます。 テーマ 僕が考える テックブログを書く意義 と 書き方のすゝめ 対象読者 テックブログを書くことによるメリットを感じられていない方 テックブログを書くことへ壁の高さを感じている方 そもそもテックブログの書き方がわからない方 説明すること／説明しないこと 説明すること テックブログを書く意義 テックブログ (Zenn) 執筆の手順例 テックブログを書くにあたって便利な VSCode の拡張機能とその設定方法 説明しないこと 技術的な知識 ブログネタの提供 テックブログを書く意義 僕がテックブログを書く意義は エンジニアとして自身の成果物を残しながら、技術領域を広げる ことにあります。 自身の学習過程であったり、技術的課題を解決するためのテクニックを

クラウドエースの北野です。 Terraform には組込み関数や型制約の関数など多数準備されています。その中でも開発でよく使っている関数を紹介します。 概要 紹介する関数は以下の通りです。 関数名 機能概要 使い方例 種類

1. はじめに こんにちは、バックエンド ディビジョン所属の藤井です。 この記事では、オブジェクト指向（object-oriented programming, OOP） の基本的な概念を解説します。OOP は、現代のソフトウェア開発において非常に重要な役割を果たしており、多くのプログラミング言語で採用されています。 オブジェクト指向の基本的な要素である 「カプセル化」 、「ポリモーフィズム」 、「インターフェース」 、「継承」 などについて、具体的な例を交えながら解説していきます。また、プログラミングパラダイム の概要についても触れ、プログラミングの多様なアプローチを理解していこうと思います。 このブログを通じて、プログラミングの基本を理解し、オブジェクト指向の第一歩を踏み出すことができれば幸いです。 2. オブジェクト指向（OOP）とは オブジェクト指向（OOP） は、データとそれに関

はじめに こんにちは。クラウドエース SRE ディビジョンの工藤です。 SRE とは Site Reliability Engineering （サイト信頼性エンジニアリング）の略でクラウドエースの SRE ディビジョンは Google Cloud を利用したインフラ構築などを担当しています。 SRE ディビジョンでは新卒向け研修として、Google Cloud のサービスに触れながらアプリケーションを構築する課題が用意されています。 今回はその課題の内容を新卒で文系出身の僕が紹介します。 僕は入社時点では開発経験などがほとんどない状態で、本課題もかなり苦慮しながら取り組んでいました。 そんな僕が課題をどのように行ったのか、どのような技術を学んだのかなどを具体的な手順や実際に作成したものとともにお伝えできればと思います。 なお、本記事では詳細なコードや Google Cloud 環境の作成

はじめに こんにちは、クラウドエース フロントエンド ディビジョン所属の阿部です。 2023年 11月 6日 に開催された OpenAI DevDay で新しい API である Assistants API が発表されました。 Assistants API を使うことでアプリケーションに LLM（Large Language Model）を使った自然言語処理を組み込むことが出来るようになります。 この Assistants API を使った Todo アプリを作ってみたので、この記事ではその内容を紹介します。 今回作るアプリ 新しいライブラリやツールが登場した時に、それらを試す時の題材として Todo リストを作ることが多いのですが、Assistants API を使って自然言語で Todo リストを操作できるアプリを作ったら面白いかな？　と思い、今回のアプリを作ることにしました。 使った

こんにちは、クラウドエースの佐久間です。2023 年 10 月 5 日にリリースされた GA 版 Terraform v1.6.0 において、terraform test コマンドを用いたテスト機能が正式に実装されました。この記事では、公式ページの説明をまとめるとともに、Google Cloud のリソースを用いてそのテスト機能を簡単に試していきます。なお、Terraform の基本的な使い方には触れませんのでご了承ください。 機能概要 この機能は、テストファイルに書かれたテストコードに基づき、モジュール構成の更新にミスがないかテストするための機能です。terraform test コマンドを実行することでテストが走ります。 これまで Terraform コードのテストには、Terratest や Kitchen-Terraform といった外部ツールを利用する必要がありました。これらのツ

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の坂田です。 データ ML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回は、Google Cloud の Vertex AI に新登場したプロダクト「Colab Enterprise」について解説します。 Colab Enterprise は、Google Cloud で Jupyter Notebook を簡単かつセキュアに扱うことができるデータ分析環境です。 この記事では、Colab Enterprise の概要やメリット、使い方について解説します。 Colab Enterprise とは 概要 Go

TL; DR BigQuery には、検索インデックス機能というものがあります この機能を用いると、大容量のテーブルから文字列を抽出する際に、処理するデータ量と処理完了までの時間が大幅に削減されるかもしれません 検索インデックスとは こんにちは、クラウドエース データML ディビジョン所属の田中です。 クラウドエースの データML ディビジョンは、クラウドエースの ITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としています。 先日機会があって BigQuery の検索インデックス機能を試してみましたので、今回の記事ではこの機能の概要とその結果をご紹介します。 BigQuery の検索インデックス機能は 2022 年 10 月 27 日のリリースにて GA(Generally Available: 一般提