2024年6月27日（日本時間）に発表されたWhat's Newの記事についてまとめた。公式リリース内容を見て記事内容が正しいか確認することをおすすめする。
Amazon OpenSearch Ingestion adds supports to ingest streaming data from Confluent Cloud - AWS
結論
Amazon OpenSearch IngestionがコンフルエントのクラウドKafkaクラスターからのデータ取り込みに対応。これにより、リアルタイムのデータ集計やアノマリー検知などの複雑な監視ユースケースを簡単に実現できるようになった。
内容
対象サービスの概要
Amazon OpenSearch Serviceは、Elasticsearch APIと互換性のあるマネージドサービス。データの検索、分析、可視化などを行うことができる。
主な変更点
- Amazon OpenSearch IngestionがコンフルエントのクラウドKafkaクラスターからのデータ取り込みに対応
- Kafkaクラスターから1つ以上のトピックからデータを取り込み、変換してAmazon OpenSearch ServiceやAmazon S3に書き込むことができる
- Confluent Schema Registryを使ってデータスキーマを指定し、取り込み時に動的に読み込むことが可能
- トピックごとの消費者数や取得パラメータを調整できる
今回の変更で嬉しいこと
- 第三者製のコネクタを使わずに、Kafkaクラスターからのデータ取り込みが可能
- リアルタイムのデータ集計やアノマリー検知などの複雑な監視ユースケースを簡単に実現できる
- Confluent Schema Registryとの連携により、柔軟なデータ取り込みが可能
まとめ
Amazon OpenSearch IngestionがコンフルエントのクラウドKafkaクラスターからのデータ取り込みに対応したことで、Elasticsearch APIと互換性のあるマネージドサービスであるAmazon OpenSearch Serviceを使ったリアルタイムの監視ソリューションの構築がより簡単になった。
ネタ（会話でWhat's Newを理解しよう）
ワオ、AWSのOpenSearch Ingestionに新しい機能が追加されたんやね。Confluent CloudのKafkaクラスターからデータを簡単にインジェストできるようになったみたいやな。
そうそう、これまでは第三者製のコネクターが必要やったけど、今回のアップデートでAmazon OpenSearch Ingestionから直接Confluent CloudのKafkaにアクセスできるようになったんや。
めっちゃ便利やん!リアルタイムのデータ集計やアノマリー検知ができるようになるんやろ?
そうやね。しかも、Confluent Schema Registryを使えば、データのスキーマを動的に読み込めるようになったみたいや。さらに、トピックごとにコンシューマ数を設定したり、プライオリティに応じてデータ取得パラメータを調整したりできるようになってるわ。
なるほど、めっちゃ柔軟に設定できるようになったんやね。Confluent側のブログ記事も読んでみたいわ。
ほんまや、記事見とったらAmazon OpenSearch Ingestionとの連携の詳細が書いてあるみたいやから、参考になりそうやな。
おおっ、めっちゃ勉強になりそうや。早速見てみよ!これで観測性のユースケースをもっと効率的に実現できそうやな。
