Jak wygenerować ładowanie (job) w Databricks używając REST API?
Ładujesz warstwę brązową (bronze layer) w Databricks. Masz utworzone notebooki i teraz chciałbyś utworzyć ich ładowanie (job). Nie jest dla Ciebie istotna kolejność ładowania. Ważne jest tylko wygenerowanie workflow.
1. Utwórz job ładujący dane.
2. Zautomatyzuj tworzenie ładowania – wykorzystamy w tym celu Databricks REST API.
Pracowałeś już z chmurą przy projekcie hurtowni danych albo data lake?
Masz już zapewne wyrobione zdanie: Co Ci się podoba, a co jest chwytem marketingowym, co wymaga dopracowania, gdzie czekasz na kolejną wersję, gdzie przydałoby się lepsze API zamiast interfejsu graficznego albo odwrotnie, bardziej wolałbyś interfejs graficzny zamiast pisania kodu.
Zrozumienie chmury to nie jest proces do ogarnięcia w czasie przerwy na kawę.
Ale jeżeli masz tylko tyle czasu, wtedy należy mieć nadzieję, że masz bogatego klienta.
Dla bogatego klienta, przesuwasz suwak maksymalnie w prawo i już nigdy nie martwisz się o wydajność. Tacy klienci, to niestety miejska legenda.
Większość klientów patrzy uważnie, ile chmura kosztuje i czy to się opłaca.
Jeżeli szukasz argumentów, jak rozmawiać o chmurze, zapraszam.
Dzisiaj o tej jasnej stronie chmury, na przykładzie Azure.
Read More
W dużej organizacji systemów przechowujących dane jest wiele.
Użytkowników korzystających z tych systemów jest jeszcze więcej.
Użytkownicy mają wiele potrzeb i problemów, które dane mogą rozwiązać.
Ale tutaj uwaga. Nie patrz na dane pod kątem jednego systemu.
On znajdują się w wielu systemach i dopiero, gdy uzupełnimy jedne dane drugimi możemy uzyskać pełniejszy obraz.
Jeden system prezentuje wąski wycinek rzeczywistości – możesz powiedzieć jeden piksel.
Bardziej to zaciemnia, niż umożliwia na odpowiedź na kluczowe pytania. Potrzebujesz zobaczyć szerszy kontekst i zobaczyć dane i systemy holistycznie.
Do skomplikowanej pracy z danymi do ich integracji i potem analizy, odpowiedzi na kluczowe pytania, potrzebni są specjaliści.
I to właśnie o bohaterowie dzisiejszego odcinka:
Data Engineer i Data Analyst, tworzą pełniejszy obraz świata.
Czym zajmuje się Data Engineer?
Read More