Starburst, firma zajmująca się otwartymi jeziorami danych, ogłosiła uruchomienie w pełni zarządzanej implementacji Icehouse w Starburst Galaxy, co ma uprościć przepływy pracy związane z analizą danych, poprawić wydajność i obniżyć koszty dla programistów, inżynierów i architektów. Architektura Icehouse, która łączy w sobie moc oprogramowania open-source Trino oraz Apache Icebergma na celu zapewnienie skalowalnego, opłacalnego i wydajnego rozwiązania do analizy w czasie zbliżonym do rzeczywistego bez ryzyka związania się z dostawcą.
Justin Borgman, współzałożyciel i dyrektor generalny Starburst, podkreślił znaczenie tego wydania, stwierdzając: “Dodanie w pełni zarządzanej implementacji Icehouse do Starburst Galaxy stanowi znaczący kamień milowy w naszej drodze do zapewnienia najbardziej zaawansowanego i przyjaznego dla użytkownika otwartego oprogramowania. analizy danych dostępnej platformy”.
Znaczenie otwartej architektury Data Lakehouse
W miarę jak organizacje coraz częściej korzystają z hurtowni danych w celu zasilania interaktywnych aplikacji i prowadzenia działalności, potrzeba otwartej architektury stała się bardziej widoczna. Hurtownie danych w chmurze takie jak Snowflake, choć popularne, mogą stać się zbyt drogie w miarę wzrostu ilości danych, pozostawiając firmy w poczuciu zablokowania i niemożności kontrolowania ich przeznaczenia.
Borgman wyjaśnił: “To rozbija ten model, stawia go na głowie i mówi, że można przechowywać dane w Iceberg, można je przeszukiwać za pomocą Starburst i uzyskać taką samą wydajność, taką samą funkcjonalność za ułamek ceny. I są Państwo właścicielami swoich danych”.
Architektura Icehouse, przedstawiona w artykule Manifest Icehouse, łączy silnik zapytań Trino z formatem tabeli Apache Iceberg, aby zapewnić potężną skalowalność, opłacalność i wydajność zapytań. To otwarte podejście jest już wykorzystywane przez gigantów technologicznych, takich jak Netflix, Apple, Shopify i Stripe, demonstrując jego przydatność do obsługi analizy danych na dużą skalę.
W pełni zarządzane rozwiązanie Icehouse firmy Starburst
Wdrożenie Icehouse firmy Starburst w Galaxy posuwa koncepcję otwartego jeziora danych o krok dalej, zapewniając w pełni zarządzaną, kompleksową platformę, która rozwiązuje wyzwania związane z pozyskiwaniem danych, zarządzaniem, zarządzaniem i optymalizacją na dużą skalę. Dzięki Icehouse firmy Starburst klienci mogą korzystać z:
- Pozyskiwanie danych w czasie zbliżonym do rzeczywistego w skali petabajtów do zarządzanych tabel Iceberg
- Przygotowanie i optymalizacja danych w oparciu o SQL do użytku produkcyjnego
- Automatyczna poprawa wydajności zapytań dzięki możliwościom automatycznego dostrajania Starburst Warp Speed
- Integracja z istniejącymi narzędziami, strukturami i ekosystemami danych
- Elastyczność wdrażania w środowiskach lokalnych, chmurowych i hybrydowych
Dla deweloperów i zespołów zajmujących się danymi oznacza to bardziej usprawniony przepływ pracy, krótszy czas oczekiwania na wyniki i możliwość skupienia się na tworzeniu aplikacji opartych na danych, a nie na zarządzaniu infrastrukturą.
Korzyści w zakresie kosztów i wydajności
Jedną z kluczowych zalet rozwiązania Icehouse firmy Starburst jest możliwość znacznego obniżenia kosztów w porównaniu z tradycyjnymi metodami hurtowni danych. Zarówno w wewnętrznych, jak i zewnętrznych testach porównawczych, Starburst wykazał 50% lub większą redukcję kosztów, a niektórzy klienci zgłaszali nawet 10-krotne oszczędności na obliczeniach.
Borgman zauważył: “Zarówno w naszych własnych testach porównawczych, jak i niezależnych testach porównawczych innych firm, jesteśmy generalnie o połowę tańsi, a czasem nawet mniej niż o połowę. To dość znaczące oszczędności w przeliczeniu na dolary i centy”.
Ta efektywność kosztowa została osiągnięta dzięki modelowi cenowemu opartemu na zużyciu, w którym klienci płacą tylko za zasoby obliczeniowe, z których korzystają. Dodatkowo, dzięki oddzieleniu pamięci masowej od zasobów obliczeniowych i wykorzystaniu taniej obiektowej pamięci masowej w chmurze, takiej jak Amazon S3, Azure Data Lake i Google Cloud Storage, firmy mogą uniknąć wysokich kosztów związanych z rozwiązaniami zarządzanymi przez dostawców.
Obciążenia związane ze sztuczną inteligencją i uczeniem maszynowym
Ponieważ sztuczna inteligencja (AI) i duże modele językowe (LLM) stają się coraz ważniejsze dla firm, zapotrzebowanie na wydajne rozwiązania do zarządzania danymi i analizy nigdy nie było większe. Icehouse firmy Starburst jest dobrze przygotowany do obsługi tych obciążeń, zapewniając niezbędne funkcje zarządzania danymi, prywatności i bezpieczeństwa.
Jay Chen, wiceprezes ds. marketingu produktów w Starburst, podkreślił możliwości platformy, mówiąc: “Aspekt zarządzania i prywatności jest jedną z rzeczy, które robimy naprawdę dobrze po stronie platformy. Współpraca z Iceberg i Trino zapewnia możliwość filtrowania, maskowania i odczytu lub kontrolowania dostępu do informacji PII”.
Dzięki Starburst firmy mogą zachować kontrolę nad swoimi cennymi zasobami danych, jednocześnie wykorzystując moc sztucznej inteligencji i LLM. Filtrując i maskując wrażliwe informacje, tworząc niestandardowe produkty danych i zarządzając kontrolą dostępu, organizacje mogą tworzyć własne zastrzeżone modele bez ryzyka wycieku danych.
Przyszłość Starburst’s Icehouse
Zaangażowanie Starburst w otwartą architekturę data lakehouse wykracza poza tę początkową wersję. Firma planuje nadal inwestować i rozszerzać swoją ofertę Icehouse, koncentrując się na jeszcze łatwiejszym pozyskiwaniu danych i zapewnieniu klientom większej liczby opcji uwalniania danych.
Chen podkreślił zaangażowanie firmy w tę inicjatywę, stwierdzając: “To ogłoszenie jest początkiem tego, co robimy. W nadchodzących kwartałach ogłosimy znacznie więcej nowych produktów”.
Programiści, inżynierowie i architekci mogą spodziewać się dalszych ulepszeń i integracji w nadchodzących kwartałach, opierając się na solidnych podstawach Trino i Apache Iceberg. W miarę jak coraz więcej organizacji przyjmuje to otwarte podejście do analizy danych, Starburst jest dobrze przygotowany do bycia liderem w dostarczaniu wydajnych, elastycznych i opłacalnych rozwiązań.
Wnioski
Uruchomienie w pełni zarządzanego Icehouse Starburst na Galaxy stanowi kamień milowy w ewolucji otwartych hurtowni danych. Łącząc moc Trino i Apache Iceberg z przyjazną dla użytkownika, kompleksową platformą, Starburst umożliwia programistom, inżynierom i architektom tworzenie nowej generacji aplikacji opartych na danych z większą wydajnością, wydajnością i opłacalnością.
Jak podsumował Borgman, “Otwarte źródło i otwarte platformy to sposób na tworzenie architektur, które przetrwają próbę czasu”.
Ponieważ firmy nadal zmagają się z wyzwaniami związanymi z zarządzaniem i analizowaniem stale rosnących ilości danych, nie można przecenić znaczenia otwartej, elastycznej i skalowalnej architektury. Dzięki Icehouse firmy Starburst organizacje mają teraz atrakcyjną alternatywę dla zastrzeżonych rozwiązań do przechowywania danych – taką, która oddaje kontrolę w ręce klienta i otwiera drzwi do nowych możliwości w zakresie sztucznej inteligencji, uczenia maszynowego i nie tylko.
Dla programistów, inżynierów i architektów, którzy chcą uprościć przepływy pracy związane z analizą danych, obniżyć koszty i zabezpieczyć swoją infrastrukturę danych na przyszłość, Icehouse on Galaxy firmy Starburst jest rozwiązaniem wartym zbadania.