2016年に構築したAmazon Kinesis Data StreamsからAmazon Redshiftにデータをロードする処理は、EBで構成されたEC2上で動くKinesis Consumer Libraryを用いたワーカー型でした。このデータの流れをAmazon Kinesis Data Firehoseで置き換えました。置き換えに際して必要だったことと、何が良くなったかを紹介します。

登壇者

佐野 玄さん

所属：日本経済新聞社 デジタル編成ユニット データチーム

マーケティングテクノロジーを軸に、Web・サーチ・広告・デジタルアナリティクスといった領域でベンダー・エージェンシー・ユーザーの3つの立場から実践。現在は日経で人と技術の両面でデータドリヴンな組織作りに必要な環境整備に取り組む。AWSではRedshiftを中心にデータ処理に関するサービスを活用。好きなサービスはDynamoDB。

主な聴講者

Kinesisユーザーの内まだKCLを使っている方、もしくはこれからKinesisを使おうとしている方

資料