storagenthusiasm. Strategy, IT trend, Big Data and Storage with Enthusiasm.

VMware、vSphere上のアプリケーションを解析し、Dockerコンテナへ変換する「Application Transformer for VMware Tanzu」発表

VMwareは、vSphere上のアプリケーションを解析し、依存関係などを調査したうえで、Kubernetes上で実行可能なDockerコンテナと設定ファイルなどを生成する「Application Transformer […]

Amazon Web Services（AWS）は、AppleのM1プロセッサを搭載したMacインスタンスを利用できる新サービス「Amazon EC2 M1 Macインスタンス」を、開催中のイベント「AWS re:Inv […]

Elasticsearchとは何か、どういうメリットがあるのかということから、ローカル環境へのインストールと簡単な活用事例を見ていきたいと思います。 ※本記事の環境はWindows 10 Pro 64ビットとなります。 […]

AWSを1Uサイズのラックマウントサーバとしてオンプレミスに持ち込める、新型「AWS Outposts」登場。AWS re:Invent 2021 AWS Outpostsは、AWSのインフラストラクチャとサービスをオン […]

Amazon Elastic Container Service for Kubernetes (Amazon EKS) を使用したコンテナへの Microsoft SQL Server のデプロイについて説明します。こ […]

Kubernetesをはじめとするクラウドネイティブを実現するオープンソースソフトウェアの開発を推進する「Cloud Native Computing Foundation」は、システム管理ツール「Prometheus」 […]

マイクロソフトは、Javaの仕様策定や関連技術の開発、実装などを行う「Java Community Process」（JCP）への参加を発表しました。 JCPにはオブザーバ、パートナーメンバー、アソシエイトメンバー、フル […]

Cloudflareは、分散したCDNエッジ間でも強い一貫性を維持するオブジェクトを提供する「Durable Objects」の正式リリースを発表しました。 Cloudflareは、世界中に分散されたCDNエッジにJav […]

今回使用するサービスについてまずは、ざっくりKibana,Logstash,Elasticsearchについて説明していきます。これらは、どれもElastic社によるサービスで、無償でも使うことが可能なサービスとなって […]

分散処理基盤 Hadoop / CDH とは Hadoopは、大規模データを複数台のサーバで分散処理するための基盤となるミドルウェアです。複数のサーバを用いるクラスタ構成のため、大規模データを処理することが可能となりま […]

1.分散処理の基礎知識 1-1.分散処理の処理方式：MapReduce まず分散処理とは、ひとつの計算処理をネットワークで接続した複数のコンピュータで同時並列で処理することです。ビッグデータ活用の市場が日々大きくなるに […]

Apache Sparkとは Apache Sparkとは何かというとオープンソースの分散処理フレームワークです。分散処理というとhadoopが有名ですが、hadoopがhdfsと呼ばれる独自のファイルシステムを介して […]

並列分散処理フレームワークApache Sparkがホットな昨今。サンプルコードや活用事例もいろいろと公開されていますが、では実際にSparkを利用してシステムを構築しようとするとき、どのような考慮が必要なのでしょうか。 […]

Apache Kafkaの公式ドキュメントをさらっと読んでまとめてみた 2016/03/19 22:50 Apache Kafka(以下、Kafka)の使用を検討した時に、公式ドキュメントをさらっと読んだので […]

2021-11-22By storagenthusiasm IT kafka

Kafka とは? Apache Kafkaは、大規模なデータの収集、処理、保存と統合のための Event Streaming Platform であり、そのユースケースには、分散型ロギング、ストリーム処理、データ統合、 […]