Spark SQLを並列実行するとview表の名前空間は衝突するのか
Spark SQLにおいてview表は2つ存在する。
- テンポラリ・ビュー:Sparkアプリケーション内の単一のSparkSessionに関連づけれられる。
- グローバル・テンポラリ・ビュー:SparkSession内の複数のSparkSessionに関連づけられる。
そのため、テンポラリ・ビュー並列化した場合に名前の衝突が問題になることはない。
globalを宣言しなければテンポラリ・ビューになるため、基本的に並列実行で名前空間が衝突することはない。
Tags: