データ分析基盤
下記記事を読み、SnowflakeでORDER BY句を利用しても問題ない理由をSnowflakeのアーキテクチャを学びながら理解することができたのでまとめました。 zenn.dev Snowflake マイクロパーティション 一般的にSQLは「ORDER BY LIMIT句は遅い」と言われています。 …
2024.08.09にDagster1.8がリリースされ, リリースノートから気になった箇所をまとめました. dagster.io Un-experimentalizing Pipes Pipes APIはLambda, kubernetes, databricks上で動いているコードにdagster moduleをimportしログを吐くように実装すると, …
下記記事を読み、Maestroが他のData Orchestration(主にDagster)と異なる(であろう)点をまとめました. atmarkit.itmedia.co.jp netflixtechblog.com 巡回ワークフローもサポートしている ワークフロー定義はJSONで記述 サブワークフロー ワークフローのステ…
