amazon-opensearch-service-icon

AWS最新情報

Amazon OpenSearch Ingestは、Confluentクラウドからストリーミングデータを取り込むためのサポートを追加します

2024年6月27日（日本時間）に発表されたWhat's Newの記事についてまとめた。公式リリース内容を見て記事内容が正しいか確認することをおすすめする。

Amazon OpenSearch Ingestion adds supports to ingest streaming data from Confluent Cloud - AWS

「サボチン」です。AWSパートナー企業でエンジニアとして働いています。
お問い合わせ・自己紹介

結論

Amazon OpenSearch IngestionがコンフルエントのクラウドKafkaクラスターからのデータ取り込みに対応。これにより、リアルタイムのデータ集計やアノマリー検知などの複雑な監視ユースケースを簡単に実現できるようになった。

内容

対象サービスの概要

Amazon OpenSearch Serviceは、Elasticsearch APIと互換性のあるマネージドサービス。データの検索、分析、可視化などを行うことができる。

主な変更点

  • Amazon OpenSearch IngestionがコンフルエントのクラウドKafkaクラスターからのデータ取り込みに対応
  • Kafkaクラスターから1つ以上のトピックからデータを取り込み、変換してAmazon OpenSearch ServiceやAmazon S3に書き込むことができる
  • Confluent Schema Registryを使ってデータスキーマを指定し、取り込み時に動的に読み込むことが可能
  • トピックごとの消費者数や取得パラメータを調整できる

今回の変更で嬉しいこと

  • 第三者製のコネクタを使わずに、Kafkaクラスターからのデータ取り込みが可能
  • リアルタイムのデータ集計やアノマリー検知などの複雑な監視ユースケースを簡単に実現できる
  • Confluent Schema Registryとの連携により、柔軟なデータ取り込みが可能

まとめ

Amazon OpenSearch IngestionがコンフルエントのクラウドKafkaクラスターからのデータ取り込みに対応したことで、Elasticsearch APIと互換性のあるマネージドサービスであるAmazon OpenSearch Serviceを使ったリアルタイムの監視ソリューションの構築がより簡単になった。

ネタ（会話でWhat's Newを理解しよう）

ワオ、AWSのOpenSearch Ingestionに新しい機能が追加されたんやね。Confluent CloudのKafkaクラスターからデータを簡単にインジェストできるようになったみたいやな。

そうそう、これまでは第三者製のコネクターが必要やったけど、今回のアップデートでAmazon OpenSearch Ingestionから直接Confluent CloudのKafkaにアクセスできるようになったんや。

めっちゃ便利やん!リアルタイムのデータ集計やアノマリー検知ができるようになるんやろ?

そうやね。しかも、Confluent Schema Registryを使えば、データのスキーマを動的に読み込めるようになったみたいや。さらに、トピックごとにコンシューマ数を設定したり、プライオリティに応じてデータ取得パラメータを調整したりできるようになってるわ。

なるほど、めっちゃ柔軟に設定できるようになったんやね。Confluent側のブログ記事も読んでみたいわ。

ほんまや、記事見とったらAmazon OpenSearch Ingestionとの連携の詳細が書いてあるみたいやから、参考になりそうやな。

おおっ、めっちゃ勉強になりそうや。早速見てみよ!これで観測性のユースケースをもっと効率的に実現できそうやな。

-AWS最新情報
-