AWS最新情報

Amazon OpenSearch Ingestionが自己管理ソースからのデータ取り込みをサポート

amazon-opensearch-service-icon

2024年7月2日（日本時間）に発表されたWhat's Newの記事についてまとめた。公式リリース内容を見て記事内容が正しいか確認することをおすすめする。

Amazon OpenSearch Ingestion adds support for ingesting data from self-managed sources - AWS

「サリー」です。AWSパートナー企業でエンジニアとして働いています。
お問い合わせ・自己紹介

結論

Amazon OpenSearch Ingestionが、自社管理のOpenSearch、Elasticsearch、Apache Kafkaクラスターからデータを取り込めるようになった。これにより、Logstashなどの第三者ツールを使わずに、Amazon OpenSearch Serviceへのデータ移行やレプリケーションが可能となった。

内容

対象サービスの概要

Amazon OpenSearch Serviceは、OpenSearchやElasticsearchを管理サービスとして提供するAWSのサービス。Amazon OpenSearch Ingestionは、OpenSearch/Elasticsearch、Apache Kafkaからデータを取り込むための機能。

主な変更点

  • 自社管理のOpenSearch、Elasticsearch、Apache Kafkaクラスターからデータを取り込めるようになった
  • 特定のインデックスやトピックのみを選択してデータ取り込みが可能
  • 新しいインデックスやトピックの自動検知や定期的な再取り込みが可能

今回の変更で嬉しいこと

  • Logstashなどの第三者ツールを使わずに、Amazon OpenSearch Serviceへのデータ移行やレプリケーションが可能
  • 自社管理のOpenSearch、Elasticsearch、Apache Kafkaクラスターからのデータ取り込みが簡単になった
  • 特定のデータのみを取り込むことや、新しいデータの自動取り込みが可能になった

まとめ

Amazon OpenSearch Ingestionの機能拡充により、自社管理のOpenSearch、Elasticsearch、Apache Kafkaクラスターからの簡単なデータ取り込みが可能になった。これによりAmazon OpenSearch Serviceへのデータ移行やレプリケーションが容易になり、運用コストの削減が期待できる。

ネタ（会話でWhat's Newを理解しよう）

ほぉ~、AWSの新機能が出てきたみたいですね。なんか詳しく教えてくれへん?

ほな、説明したろか。Amazon OpenSearch Ingestionっていう機能が新しく追加されたんや。これを使うと、自分で管理してるOpenSearchやElasticsearch、Kafkaのクラスターからデータを取り込めるようになるんや。

へぇ~、そうなんや。これまではサードパーティのツールを使わなあかんかったけど、今はAWSのサービス内で完結できるようになったんやね。

そうや。これまでは、Logstashなんかを使って自分で管理してるクラスターからデータを取り込む必要があったけど、今はAmazon OpenSearch Ingestionで直接取り込めるようになった。しかも、全てのインデックスや特定のインデックスだけを選んで取り込めるし、新しいインデックスが追加されたら自動で検知して取り込むこともできるんや。

ほんま便利になったんやね。それでKafkaのデータも取り込めるようになったんですか?

ほんまそうや。Kafkaのトピックから直接データを取り込んで、Amazon OpenSearch Serviceや Amazon S3に書き込めるようになったんや。データの変換もできるから、自分で加工する必要もないな。

へぇ~、これ使えば自分で管理するクラスターからのデータ移行とかも楽になるんやな。めっちゃ便利やわ。

-AWS最新情報
-