データ基盤設計: テーブルフォーマットとパイプライン機能の選び方

Snowflakeのデータ基盤設計は、従来の「どのパイプライン機能を使うか」だけでなく、「どのテーブルフォーマットに載せるか」まで含めて考える時代に入っています。Snowflake Datastream、Openflow、Snowpipe Streaming などの接続・取り込み機能、Dynamic Tables、dbt Projects、Snowpark、Spark Connect などの変換・開発機能に加え、Snowflakeテーブルと Apache Iceberg のどちらを選ぶかによって、相互運用性、運用負荷、ガバナンス、将来の拡張性は大きく変わります。 本セッションでは、個別機能の紹介ではなく、テーブルフォーマットとパイプライン機能を一つの設計論として整理し、どの要件に対して何を選ぶべきかを実践的に解説します。Snowflake中心の基盤とオープンフォーマット中心の基盤をどう見極めるか、その判断軸を持ち帰れる内容です。