Ile kosztuje BigQuery w praktyce? Przykładowe wyliczenia

Zastanawiasz się nad przejściem do chmury obliczeniowej, ale boisz się ukrytych kosztów? Często słyszymy, że BigQuery to potężne narzędzie, które przy złym użytkowaniu potrafi błyskawicznie wyczyścić firmowy budżet. Dzisiaj sprawdzimy to na konkretnych liczbach. Migrujemy nasze wyobrażenia do rzeczywistości i patrzymy, co naprawdę dzieje się z portfelem po uruchomieniu hurtowni danych od Google. Przekonamy się wspólnie, że nie taki diabeł straszny, jak go malują!

Za co tak naprawdę płacimy? Zanim zaczniemy liczyć, musimy zrozumieć, za co Google wystawia nam rachunek. W BigQuery płacimy głównie za dwie rzeczy:

1. Magazynowanie (Storage) – za to, że nasze dane po prostu tam leżą.
2. Przetwarzanie (Compute/Queries) – za to, że wyciągamy z nich informacje za pomocą zapytań SQL.

Omijamy dzisiaj skomplikowane i drogie modele stałych opłat dla wielkich korporacji. Skupiamy się na podstawowym modelu „płacisz za to, co zużyjesz” (On-demand).

Składowanie danych – groszowe sprawy Samo przechowywanie danych jest bardzo tanie. Zazwyczaj płacimy około $0,02 (USD) za gigabajt (GB) miesięcznie. Jeśli wrzucimy do naszej bazy 100 GB danych, na koniec miesiąca zapłacimy za nie zaledwie około 2 dolarów. Co więcej, jeśli nasze tabele leżą nieużywane i nie modyfikujemy ich przez 90 dni, cena automatycznie spada o połowę. Oszczędzamy na samym starcie!

Analiza danych – tutaj zaczyna się prawdziwa gra Koszt zapytań to zazwyczaj około $6,25 za każdy przetworzony terabajt (TB) danych. Super wiadomością jest to, że pierwszy terabajt w każdym miesiącu dostajemy całkowicie za darmo! Co to oznacza w praktyce? Zrobimy dwie proste symulacje.

Symulacja 1: Spokojny, mały projekt Mamy bazę o wielkości 50 GB. Codziennie uruchamiamy kilka zapytań raportowych, które łącznie „czytają” 20 GB danych. W skali całego miesiąca nasze zapytania skanują około 600 GB.

• Koszt magazynowania: 50 GB = ~1 USD
• Koszt zapytań: 600 GB mieści się w darmowym limicie (1 TB). Koszt = 0 USD. Całkowity miesięczny rachunek: zaledwie 1 dolar!

Symulacja 2: Większy apetyt i kosztowne błędy Teraz wyobraźmy sobie, że obsługujemy większy projekt. Mamy tabelę wielkości 500 GB, która zawiera całą historię zamówień. Piszemy niesławne zapytanie SELECT * FROM tabela (wybierz wszystko) i uruchamiamy je 10 razy dziennie, żeby odświeżyć dashboardy. Skanujemy w ten sposób 5 TB danych każdego dnia! W skali miesiąca daje nam to aż 150 TB.

• Odejmujemy darmowy terabajt i mamy do opłacenia 149 TB.
• 149 TB * 6,25 USD = ponad 930 dolarów! W tym momencie widzimy, jak łatwo można przepalić firmowy budżet przez brak optymalizacji.

Kiedy migrujemy do BigQuery, koniecznie zmieniamy nasze nawyki z tradycyjnych baz danych. Bo BigQuery działa zupełnie inaczej – jest bazą kolumnową. Co to oznacza w praktyce? Kiedy zadajemy pytanie, system nie czyta tabeli wiersz po wierszu. Zamiast tego skanuje całe kolumny z góry na dół. Jeśli nasza tabela ma 100 kolumn, a my w zapytaniu wymienimy tylko dwie, płacimy wyłącznie za przeskanowanie tych dwóch!

Przede wszystkim więc unikamy komendy SELECT * jak ognia. Kiedy używamy gwiazdki, zmuszamy BigQuery do przeskanowania absolutnie wszystkich kolumn w tabeli, niosąc za sobą niepotrzebne gigabajty danych. Zawsze wyciągamy tylko te kolumny, których faktycznie potrzebujemy do danego raportu.

Ponadto, wdrażamy partycjonowanie – czyli dzielimy ogromne tabele na mniejsze „szufladki” (np. po datach), nakładamy na tabele opcję „koniecznych filtrów” (ang. require partition filter). Co zyskujemy? System automatycznie zablokuje każde zapytanie, w którym analityk zapomni podać zakresu dat! Ratujemy w ten sposób budżet przed ludzkim błędem. Dzięki temu nasze zapytanie zamiast wertować 500 GB z całego roku, przeszuka tylko 15 GB z konkretnego miesiąca.

Spójrzmy na konkretny przykład z naszej firmowej tabeli sprzedażowej, która waży 500 GB.

Co tu robimy źle? Po pierwsze – użyliśmy *. Pobieramy długie opisy, adresy dostawy i kody pocztowe, chociaż chcieliśmy tylko sprawdzić wczorajsze przychody. Po drugie – nie daliśmy żadnego filtru. BigQuery skanuje całą historię firmy od samego początku jej istnienia.

Wynik: Skanujemy pełne 500 GB danych. Koszt jednego takiego kliknięcia to około 3,12 USD.

Jak to działa teraz? Wskazujemy systemowi precyzyjnie: interesują nas tylko dwie kolumny (kategoria i kwota). Ignorujemy 98 innych. Dodajemy filtr WHERE na dacie, trafiając idealnie w naszą „szufladkę” z konkretnego miesiąca. Na koniec grupujemy wyniki komendą GROUP BY, żeby otrzymać ładne, gotowe podsumowanie.

Wynik: Skanujemy tylko 2 kolumny z wydzielonego miesiąca. Rozmiar danych do przetworzenia spada drastycznie do zaledwie 5 GB. Koszt zapytania? Około 0,03 USD (czyli 3 centy!).

W ten sposób obcinamy rachunki. Na tym prostym przykładzie widzimy, że w chmurze zmiana kilku linijek kodu potrafi obniżyć koszty stukrotnie. Architektura to jedno, ale świadome korzystanie z SQL-a to nasz klucz do sukcesu.

Jakie są największe zalety korzystania z BigQuery? Przede wszystkim zapominamy o infrastrukturze. Nie kupujemy serwerów, nie aktualizujemy dysków i systemów. Architektura skaluje się sama w ułamku sekundy – niezależnie od tego, czy mamy kilka gigabajtów, czy petabajtów danych. Płacimy tylko za to, co faktycznie zużywamy. Jeśli zaprojektujemy naszą bazę z głową, oszczędzimy firmie mnóstwo pieniędzy, zyskując jednocześnie niesamowitą prędkość działania.

Czujesz, że analityka chmurowa to zbyt skomplikowany temat? Boisz się, że błędy w kodzie narażą Twoją firmę na wysokie rachunki? Imperium Szkoleniowe jest tutaj, aby Ci pomóc!

Nasi doświadczeni eksperci przeprowadzą Cię przez cały proces krok po kroku. Pomożemy zmigrować Twoje dane, nauczymy Twój zespół pisania bezpiecznych i wysoce zoptymalizowanych zapytań SQL oraz zaprojektujemy dla Ciebie architekturę, która działa szybko i oszczędza pieniądze. Z nami wejdziesz do świata BigQuery płynnie, profesjonalnie i – co najważniejsze – bez nieprzyjemnych niespodzianek na fakturze.