Pracowałeś już z chmurą przy projekcie hurtowni danych albo data lake?

Masz już zapewne wyrobione zdanie: Co Ci się podoba, a co jest chwytem marketingowym, co wymaga dopracowania, gdzie czekasz na kolejną wersję, gdzie przydałoby się lepsze API zamiast interfejsu graficznego albo odwrotnie, bardziej wolałbyś interfejs graficzny zamiast pisania kodu.

Zrozumienie chmury to nie jest proces do ogarnięcia w czasie przerwy na kawę.

Ale jeżeli masz tylko tyle czasu, wtedy należy mieć nadzieję, że masz bogatego klienta.

Dla bogatego klienta, przesuwasz suwak maksymalnie w prawo i już nigdy nie martwisz się o wydajność. Tacy klienci, to niestety miejska legenda.

Większość klientów patrzy uważnie, ile chmura kosztuje i czy to się opłaca.

Jeżeli szukasz argumentów, jak rozmawiać o chmurze, zapraszam.

Dzisiaj o tej jasnej stronie chmury, na przykładzie Azure.

Ograniczanie kosztów

Przechowywanie danych w chmurze jest tanie. Możesz przechowywać dane praktycznie za darmo. Jak widać tutaj trendy inflacyjne jeszcze nie dotarły.

Powyżej przykład ile kosztowałoby przechowanie danych w Azure Data Lake.

Powiesz, że przecież dane w hurtowni przechowywane są w relacyjnych bazach danych. Tak, oczywiście możesz zaprojektować swoje rozwiązanie w ten sposób.

Wtedy używasz DataLake w Azure jako warstwy staging, gdzie przechowujesz dane plikowe z systemów transakcyjnych, gotowe do załadowanie.

Możesz też zaprojektować permanenty stage, gdzie odkładasz wszystkie dane, które kiedykolwiek trafiły do hurtowni. Tak na wszelki wypadek, gdyby zaszła potrzeba załadowania ich kolejny raz.

Ograniczanie kosztów ma też inny aspekt.

Wyobraź sobie, że korzystasz z usług Azure w trybie Pay as you go. Znowu zdarza się sytuacja taka jak na początku Covida. Wszystko jest zamykane, giełda traci 40 % swojej wartości, wiele zamówień jest anulowanych i firmy potrzebują ciąć koszty.

Wtedy chmura pozwala zmniejszyć koszty bardzo szybko i dość radykalnie. Przesuwasz suwak potrzeb maksymalnie w lewo.

Na przykład w Azure Database ograniczasz liczbę DTU do minimum. To pozwala szybko ograniczyć koszty i utrzymać przy życiu tylko krytyczne biznesowo aplikacje. Nie zamykać rozwiązań, ale ograniczać koszty.

Proces CI/CD

Rozwijanie oprogramowania w oparciu o chmurę ma też tę zaletę, że praca inżynierów danych się zmienia. Są oni coraz bardziej programistami o specjalizacji dane.

Jak to rozumieć?

Widziałeś kiedyś dobre narzędzie do wersjonowanie kodu SQL, które działa on prem i wspomaga CI/CD?

Jeżeli tak, do daj znać w komentarzu.

Chmura wspiera, no dobrze, zmusza do używania GIT'a.

Tworzysz projekt w Azure Data Factory? Używasz GIT'a.

Projektujesz przepływy w Synapse Studio? Używasz GIT'a.

To samo, jeżeli pracujesz z DataBricks.

Dzięki CI/CD, tworzysz wydajny proces rozwoju i dostarczania zmiany. Ten proces może być automatyczny, nie wymaga tylu osób do jego obsługi.

Z tej perspektywy CI/CD w chmurze to oszczędność: ludzi, którzy robią powtarzalną pracę na przykład wdrażając zmiany na produkcję i czasu, gdzie powtarzalne procesy są automatyzowane.

Technologia

Cykl rozwoju oprogramowania jest teraz zdecydowanie szybszy. Dostarczanie nowej wersji nie trwa latami. Trwa miesiące. Nikt nie ma czasu pracować nad produktem przez 2 lata i zastanawiać się, czy on się komuś przyda.

Dostarczanie nowej fukncjonalności najpierw jako preview, pozwala zebrać potrzebne informacje zwrotne. Czy funkcjonalność jest potrzebna? Na co położyć nacisk w pierwszej wersji? Co może poczekać?

Na przykład w Power BI, jest miesięczny cykl wydań i dodawania nowych funkcjonalności.

Ten kij ma dwa końce. Najnowsza nie zawsze znaczy najlepsza wersja oprogramowania. To też nie jest wydanie wolne od błędów. To niestety zmusza też programistów do częstych zmian i do ciągłego śledzenia nowinek.

Dlatego chmura to ciągła zmiana. Logujesz się dzisiaj do portalu i widzisz zupełnie nowe ikony, funkcjonalności, coś zmieniło swoje miejsce.

Dzięki chmurze zawsze masz dostęp do najnowszych rozwiązań.

Czy to dobrze dla Twojego rozwiązania, które musisz cały czas modyfikować i dostosowywać? To już inny temat.

API

Uszczegóławiając temat technologii, porozmawiajmy też o API.

Większość usług ma wystawione "końcówki", ułatwiające komunikację i automatyzację. To nowy sposób tworzenia oprogramowania: otwartość na świat i zmianę przy użyciu kodu.

DataLake storage możesz utworzyć używając Azure portalu jak również używając na przykład REST API.

Wiele usług chmurowych udostępnia API. Dzięki temu, możesz znowu zautomatyzować pracę. To kolejne zaoszczędzone minuty lub godziny, przy powtarzalnych zadaniach, które można zrobić szybciej.

Outsorcowanie uciążliwej pracy

Wdrażanie nowej wersji oprogramowania on premis to projekt często na kilka miesięcy.

Migracja SAP BO z wersji 4.1 do 4.2, nie tego nie da zrobić się w tydzień.

Migracja z SQL Servera wersja 2016 do wersji 2019, to też nie jest chwila.

Natomiast pachowanie w chmurze jest w większości wypadków dla Ciebie przezroczyste. Nawet jak nie chcesz nowej wersji to i tak ją dostaniesz.

Nowe funkcjonalności w app.powerbi.com ? Zależy tylko od kalendarza Microsoftu, kiedy będą wdrożone w Twojej strefie. Zazwyczaj w ciągu kilku dni od ogłoszenia.

Nowe wersje wdrażane są przez zewnętrzny zespół. Nie trzeba już nadzorować i pilnować DBA, żeby wgrał łatkę poprawiającą tę lukę bezpieczeństwa.

Zalety chmury w projektach data

Tak to jest kolorowy świat zalet:

• Elastyczne zarządzanie kosztami
• "Cutting edge technology"
• Sprawdzone procesy
• Automatyzacja powtarzalnych zadań przy pomocy API
• Pozbycie się uciążliwej pracy

Co jest jeszcze ważne z Twojej perspektywy? Może bezpieczeństwo jest większe w chmurze? Może chmura coś robi lepiej niż data center w Twojej firmie? Albo może suma małych uciążliwości sprawia, że myślisz o chmurze coraz żywiej.

Może w Twoim przypadku lepiej jeszcze trochę poczekać z przeniesieniem do chmury? Może jeszcze nie ma tam na tyle "killer featherów" i nie chcesz podążać za modą.

To byłaby pełniejsza historia. Obraz będzie żywszy, gdy opowiem też o wadach chmury.

Chcesz o tym poczytać? Daj znać w komentarzu.!