You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
2020-12-26 TensorFlowの勉強をしていたら、Apache beam を前処理に採用していたケースがあり、興味を持ったので深堀りしてみます。 興味が湧いたモチベーションとしては、 データ量が増加しても前処理部分を難なくスケールできそう(前処理部分をスケールさせて高速に実験を回したい、並列化などはすべて良い感じにbeamに任せれそうバッチとストリーミングの両者に対応可能なので、柔軟な機械学習の推論サービスが提供できるのでは? (GCPの参考資料 Data preprocessing for machine learning: options and recommendations)Apache beam を触りつつ分散データ処理を学びたいhttps://github.com/jhuangtw/xg2xg#services を見てみるとGoogle 内部のFlume という並列
概要 2020年2月24日にApache Software FoundationからApache Tomcatの脆弱性（CVE-2020-1938）情報が公開されました。これは、Apache JServ Protocol（AJP）に関する脆弱性です。AJPとは、Apache Tomcatと通信を行うためのプロトコルであり、例えば、HTTPサーバ（Apache HTTP Server）とアプリケーションサーバ（Apache Tomcat）を連携する際に用いられます。この場合、HTTPリクエストをApache HTTP Serverで受け取り、Javaで動的な処理が必要となるものをApache Tomcatで実行する構成になります。なお、Apache TomcatもHTTPサーバとしての機能を備えており、標準で8080/tcp（HTTP）及び8009/tcp（AJP）を使用する設定となっていま
Apache ArrowのPMC（Project Management Commitee、プロジェクト管理チームみたいな感じ）のメンバーの須藤です。 みなさんはApache Arrowを知っていますか？聞いたことがないとか名前は聞いたことがあるとかコンセプトは知っているあたりがほとんどで、触っている人はあまりいないのではないでしょうか。Apache Arrowは数年後にはデータ処理界隈で重要なコンポーネントになっているだろうプロジェクトです。データ処理界隈に興味がある人は知っておくと役に立つはずなので2018年9月現在の最新情報を紹介します。 私は、PMCの中では唯一の日本人で、コミット数は3番目に多いので、日本ではApache Arrowのことをだいぶ知っている方なはずです。日本語でのApache Arrowの情報があまりないので日本語で紹介します。ちなみに、英語ではいろいろ情報がありま
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
Apache Kafkaでクラスタのメンバーの増減や、Partitionの再割り当てみたいなことをやってみたいなぁと思い、ちょっと 試してみることにしました。 環境 Apache Kafkaのバージョンは、0.11.0.1とします。 また、Apache ZooKeeper、Apache Kafka（Broker）のIPアドレスは、次のようなものとします。 Apache ZooKepper … 172.21.0.2 Apache Kafka … 172.21.0.3〜 Apache KafkaのBrokerのIDは、IPアドレスの末尾とします（172.21.0.3なら、3）。 これで、Apache KafkaのNodeを増減させたりして、どのようになるかちょっと見てみたいと思います。 メッセージ投入用のプログラム Apache Kafka（Broker）へのメッセージの投入には、Javaで書
Apache Kafka becoming the message bus to transfer huge volumes of data from various sources into Hadoop. It's also enabling many real-time system frameworks and use cases. Managing and building clients around Apache Kafka can be challenging. In this talk, we will go through the best practices in deploying Apache Kafka in production. How to Secure a Kafka Cluster, How to pick topic-partitions and u
Apache Beam is a unified programming model to create Batch and Stream data processing pipelines. Simplifying a bit, it's a Java SDK that we can use to develop analytics pipelines, such as for counting users or events, extracting trending topics, or analyzing user sessions. In this post, we are going to see how to launch a demo of Apache Beam in minutes, thanks to a Docker image with Apache Flink a
! This post is also available in the following languages. 英語, 韓国語 By Kawamura Yuto | 2016.08.19 2021.01.08LINEでエンジニアとして働いています。Apache Kafka、Apache HbaseなどのOSS技術をベースにLINEの中核的なデータパイプラインとストレージを開発・運営しています。 Kafka Streamsのご紹介 こんにちは。LINEでサーバ開発エンジニアとして働いているYuto Kawamuraです。主にHBase、KafkaといったLINEの中核的なストレージを開発・運営しています。 昨年下期からは、IMF(Internal Message FlowまたはFund)と呼ばれる新規プロジェクトも担当しています。このIMFプロジェクトの目的は大きく2つあります。 内部シ
Get Apache Kafka and Flink news delivered to your inbox biweekly or read the latest editions on Confluent Developer! When Confluent Cloud isn’t an optionVarious factors can impede an organization's ability to leverage Confluent Cloud, ranging from data locality considerations to stringent internal prerequisites. For instance, specific mandates might dictate that data be confined within a customer'
前回、Apache FlinkとはでFlinkの概要に触れたのですが、今回は実践的にkafkaと連携させ、Apache Zeppelinでアドホックに分析してみます。 Zeppelinを使うのは、単純に、jar作って実行するのが面倒だからです(^_-)-☆ 概要 fluentdでデータを収集し、Kafkaにデータを送ります。 Zeppelin上のnotebookからflinkの集計ジョブを実行します。 flinkジョブはKafkaに集約されたストリーミング・データを集計します。 というわけでfluentd, Kafkaをインストールしていきます。 ※ この記事ではCentOS 6.7 Finalを使います。またサーバ上ではrootで作業しています。 ※ また、jdkはopenJDKの1.8を使用しています。 fluentd, Kafkaインストール この記事ではfluentdとKafkaを
執筆者: 秋葉原ラボ sitotkfm&rshtykh はじめに 秋葉原ラボでは大規模データ処理基盤の研究・開発・運用を行っており、データの転送や解析システムのHubとしてPubsubシステムの重要性が高まっている。 Pubsubメッセージングモデルは、非同期メッセージングパラダイムの一種であり、メッセージの送信者（出版側）が特定の受信者（購読側）を想定せずにメッセージを送るようプログラムされたものである（wikipedia）。Pubsubモデルを用いることでシステムアーキテクチャにおいてコンポーネント同士を疎結合にし、高スケーラビリティを実現するメッセージングパターンである。このモデルに基づいたソリューションは既に複数存在するが、今回は特に注目されているApache KafkaやGoogle Cloud Pub/Subを紹介し、システム面で重要と思われる機能を比較する。 Kafkaは、
こんにちは、15卒のフィ(@dxhuy)です。 最近仕事でちょっとKafkaを使う機会がありました。Kafkaは汎用的に色々な用途で使えるとても面白いミドルウェアです。そこでKafkaの知識を深めるために何か作ろうかなと考えて、コマンドラインで実現する簡単なチャットツールを作ってみました。 Kafkaとは Apache Kafka は Publish-Subscribe 型のメッセージングシステムであり、オフライン・オンライン両方のメッセージ取得に適している。これ は大容量のイベントとログデータを低遅延で収集および配信する目的で、当初は LinkedIn で開発された メッセージングシステムであった。 Kafkaでの概念を簡単に説明します： Producer：情報を作る側。 Consumer : 情報を使う側。 Topic： ConsumerがTopicにSubscribeして情報取り出し
Apache Kafka は OSS の分散型メッセージングミドルウェア。 似た性質を持ったソフトウェアとしては ActiveMQ や RabbitMQ などが挙げられる。 ただし、ActiveMQ や RabbitMQ との大きな違いは、独自のバイナリプロトコルを用いてメッセージをやり取りするところ。 ActiveMQ や RabbitMQ は標準化された AMQP や MQTT を扱う場合が多い。 独自プロトコルというと、なんだか未来が無さそうなイメージがあるけど、その逆で Kafka はビッグデータ処理の場面ではほぼデファクトの位置にあるようだ。 今回は、そんな Kafka を手元の Mac でさくっと試してみることにする。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.4 BuildVersion
1. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 2017年5月20日 1 ヤフー株式会社 データ＆サイエンスソリューション統括本部 データプラットフォーム本部 開発4部 パイプライン 森谷 大輔 Java Clientで入門する Apache Kafka JJUG CCC 2017 Spring 2. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 自己紹介 • 森谷 大輔 • インフラエンジニア • どちらかというとBEアプリケーション開発 • ヤフーのデータパイプラインをつくったり運用したり • 対外発表 • ストリーム処理プラットフォームにおけるKafka導入事例 (Apache Kafka Meetup Japan
Mozilla SSL Configuration Generator Redirecting to the updated SSL Configuration Generator…
openssl コマンドは様々なことが実行できますが、HTTPS の接続テストに使うことも出来ます。今回は openssl を使って SSL/TLS バージョンを明示的に指定した接続テストの方法をメモします。 目次 目次 Apache のインストール デフォルトで有効になっている SSL/TLS バージョン OpenSSL を使った HTTPS 接続テスト SSL/TLS バージョンを指定した接続テスト SSL 1.0 SSL 2.0 SSL 3.0 TLS 1.0 TLS 1.1 TLS 1.2 実行結果 SSL/TLS バージョンが一致せず、接続に失敗したケース SSL/TLS バージョンが一致し、接続に成功したケース Apache で SSL 3.0 を無効にしてみる 変更前 変更後 SSL 3.0 で接続出来なくなったことを確認する Apache のインストール テスト用のサーバは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
