Databricks – User Table Columns?
Przenosisz się ze świata baz danych do świata Databricksów?
Zmieniono nazwę Twojego stanowiska na Data Engineer i będziesz teraz pracował w Databricks?
W świecie baz danych przyzwyczaiłeś się zapewne do prostego i intuicyjnego dostępu do metadanych. Możliwe, że używałeś ich, żeby zautomatyzować pracę lub wykryć w prosty sposób, gdzie trzeba przeprowadzić zmianę.
Świat Databricks i Hive metastore to trochę inne doświadczenia.
Mówiąc łagodnie.
Patrząc co jest tam dostępne brakuje mi czegoś podobnego do Oraclowego all_tab_columns (user_tab_columns) albo SQL Serverowego Information_Schema.Columns.
Zróbmy więc go sami wykorzystując możliwości jakie daje Databricks.
Read More