W dzisiejszym szybko zmieniającym się świecie opartym na danych, programiści, inżynierowie i architekci stoją przed wyzwaniem budowania odpornych i wydajnych aplikacji przy jednoczesnym zapewnieniu optymalnego doświadczenia użytkownika. Analityka w czasie rzeczywistym odgrywa kluczową rolę w sprostaniu tym wyzwaniom, umożliwiając firmom podejmowanie świadomych decyzji w oparciu o aktualne dane. StarTree, firma stojąca za Apache Pinot, ogłosiła niedawno znaczny postęp w zakresie możliwości analitycznych w czasie rzeczywistym, koncentrując się na obserwowalności i przypadkach użycia wykrywania anomalii.

Usprawnienie obserwowalności dzięki StarTree Cloud

Obserwowalność jest krytycznym aspektem nowoczesnego rozwoju oprogramowania, umożliwiającym zespołom uzyskanie wglądu w kondycję i wydajność ich aplikacji. Nowa oferta StarTree, StarTree Cloud Observability, zapewnia zarządzaną usługę, która usprawnia proces przechowywania i wyszukiwania metryk, dzienników i śladów w czasie rzeczywistym. Wykorzystując zdezagregowane podejście StarTree, deweloperzy mogą płynnie zintegrować swoje istniejące agenty zbierania danych i potoki z infrastrukturą StarTree, zapewniając elastyczność i unikając uzależnienia od dostawcy.

Chinmay Soman, dyrektor ds. produktu w StarTree, podkreśla, że firma koncentruje się na czasie rzeczywistym i zewnętrznych przypadkach użycia: “StarTree koncentruje się, jak już wspomniałem, na użytkownikach, co oznacza, w bardziej technicznych terminach, prawda? Tak więc, jeśli mają Państwo dane w czasie rzeczywistym, dane i zapytania, które mają charakter bardziej rzeczywisty, to chcą Państwo szybko generować spostrzeżenia i chcą Państwo generować spostrzeżenia na temat danych napływających w tej chwili”.

Wydajna obsługa danych na dużą skalę

Jedną z kluczowych zalet StarTree Cloud Observability jest jego zdolność do wydajnej obsługi danych na dużą skalę. Dzięki obsłudze od terabajtów do petabajtów logów, zoptymalizowane możliwości przechowywania i indeksowania StarTree umożliwiają szybkie przetwarzanie zapytań przy zachowaniu efektywności kosztowej. Umożliwia to programistom analizowanie i rozwiązywanie problemów w czasie rzeczywistym, skracając średni czas do wykrycia (MTTD) i średni czas do rozwiązania (MTTR).

Soman podkreśla skalowalność i efektywność kosztową oferty StarTree: “Powodem, dla którego StarTree się wyróżnia, jest oferta pamięci masowej StarTree. Jest bardzo skalowalna. Zapewnia bardzo szybkie zapytania. Widzieliśmy to w naszych poprzednich aplikacjach skierowanych do użytkowników. I jest bardzo wydajna pod względem kosztów hostingu wszystkich tych danych”.

Uwolnienie mocy indeksowania wektorowego

Zaangażowanie StarTree w innowacje open-source jest widoczne w jej niedawnym wkładzie w Apache Pinot, w szczególności dodanie obsługi indeksowania wektorowego. Funkcja ta otwiera nowe możliwości dla programistów pracujących nad aplikacjami sztucznej inteligencji i uczenia maszynowego. Przechowując osadzone słowa, obrazy lub filmy bezpośrednio w Pinot, programiści mogą przeprowadzać wyszukiwanie podobieństw i tworzyć potężne aplikacje, takie jak chatboty, systemy rekomendacji i platformy odkrywania treści. Połączenie rozproszonej architektury Pinot i zoptymalizowanego przetwarzania zapytań zapewnia skalowalność i wydajność, nawet w przypadku dużych zbiorów danych.

Soman wyjaśnia znaczenie indeksowania wektorowego w Apache Pinot: “Niedawno dodaliśmy możliwość indeksowania wektorowego do Apache Pinot. I to jest naprawdę miejsce, w którym można przechowywać osadzone słowa, obrazy lub filmy w klastrze, aby móc na przykład wyszukiwać podobieństwa bezpośrednio w Pinot, więc można sobie wyobrazić, że dzięki tym dwóm możliwościom można tworzyć wszelkiego rodzaju interesujące aplikacje Gen AI”.

Zautomatyzowane wykrywanie anomalii dzięki StarTree ThirdEye

Kolejnym ekscytującym osiągnięciem StarTree jest ogólna dostępność StarTree ThirdEye, rozwiązania do wykrywania anomalii i analizy przyczyn źródłowych w czasie rzeczywistym. ThirdEye odpowiada na wyzwanie identyfikacji anomalii w danych szeregów czasowych, szczególnie w przypadku wskaźników biznesowych. Dzięki zaawansowanym algorytmom statystycznym, które uwzględniają sezonowość i zmienność, ThirdEye wykrywa anomalie w czasie rzeczywistym, eliminując potrzebę ręcznego ustawiania progów.

Soman rozwija możliwości StarTree ThirdEye: “Jest to produkt, który dostarczyliśmy wraz z naszą ofertą chmurową dla wszystkich naszych klientów. Skupia się on na identyfikacji anomalii lub wartości odstających w zestawach danych szeregów czasowych, a w szczególności na metrykach biznesowych”.

Rewolucja w analizie przyczyn źródłowych

Co więcej, zautomatyzowana analiza przyczyn źródłowych ThirdEye (RCA) rewolucjonizują sposób, w jaki deweloperzy badają i rozwiązują problemy. Analizując setki wymiarów i ich kombinacji, ThirdEye w ciągu kilku sekund wskazuje pierwotną przyczynę anomalii, oszczędzając cenny czas i wysiłek. Umożliwia to programistom szybką identyfikację i rozwiązywanie problemów, minimalizując wpływ na doświadczenia użytkowników i operacje biznesowe.

Soman wyjaśnia, w jaki sposób ThirdEye automatyzuje analizę przyczyn źródłowych: “Po zidentyfikowaniu anomalii, drugą ważną rzeczą jest zautomatyzowana analiza przyczyn źródłowych RCA, więc tam, gdzie ludzie spędzają godziny lub dni, robi to w kilka sekund”.

Uproszczenie pozyskiwania danych dzięki Write API

Aby jeszcze bardziej wzmocnić pozycję deweloperów, StarTree wprowadziło API zapisu dla Apache Pinot, upraszczając procesy pozyskiwania danych. Dzięki możliwości zapisu danych bezpośrednio do Pinot za pośrednictwem wywołań HTTP, deweloperzy mogą usprawnić swoje potoki danych, eliminując potrzebę stosowania systemów pośrednich, takich jak Kafka. To nie tylko zmniejsza złożoność, ale także obniża koszty związane z utrzymaniem dodatkowej infrastruktury.

Soman podkreśla zalety interfejsu API zapisu: “Ogłaszamy teraz prywatny podgląd interfejsu API zapisu, w którym można po prostu wykonać połączenie HTTP i bardzo łatwo dodać rekord do Pinot. Jest to ważne w przypadkach, gdy korzystają Państwo z narzędzia ETL lub ELT, takiego jak Fivetran, lub jeśli mają Państwo zestaw danych już w StarTree. Chcą Państwo utworzyć pochodny zestaw danych przy użyciu DBT. Teraz jest to łatwiejsze dzięki interfejsowi API”.

Płynna integracja z istniejącymi przepływami pracy

Rosnący ekosystem integracji StarTree, w tym obsługa popularnych systemów danych, takich jak Debezium, Fivetran i dbt, a także narzędzi do wizualizacji, takich jak Grafana i Tableau, zapewnia programistom możliwość łatwego włączenia analizy w czasie rzeczywistym do istniejących przepływów pracy. Płynne możliwości integracji pozwalają programistom skupić się na tworzeniu innowacyjnych aplikacji, jednocześnie wykorzystując moc danych w czasie rzeczywistym.

Soman wspomina o rozszerzającym się wsparciu integracji: “Dzisiaj rozszerzamy nasze wsparcie dla Tableau i Grafana. Dzięki temu mogą Państwo łączyć w czasie rzeczywistym chmurę StarTree i Tableau, co w rzeczywistości jest dużym problemem. Dla wielu, wielu klientów, prawda.”

Poziom Forever-Free do eksploracji i współpracy

Dla deweloperów, którzy chcą poznać możliwości StarTree, firma oferuje teraz bezterminową warstwę StarTree Cloud. Dzięki temu deweloperzy mogą bez ograniczeń czasowych korzystać z pełnego zestawu funkcji, w tym z niskokodowego pozyskiwania danych i rozszerzonych możliwości zapytań. Bezterminowa warstwa zapewnia programistom wolne od ryzyka środowisko do prototypowania, eksperymentowania i współpracy z rówieśnikami, wspierając innowacje i przyspieszając czas wprowadzania produktów na rynek.

Peter Corless, dyrektor ds. marketingu produktów w StarTree, podkreśla wyjątkową cechę warstwy forever-free: “Jedyną rzeczą, na którą chciałem zwrócić uwagę, jest to, że można nawet zaprosić znajomych do pracy w prywatnym, małym obszarze roboczym. To nie jest tak, że pobierasz go do Dockera i nikt nie może zobaczyć pracy, którą wykonujesz. W rzeczywistości można to udostępniać, dzięki czemu można szybko prototypować i odrzucać pomysły od innych programistów”.

Podsumowanie

Podsumowując, postępy StarTree w analityce czasu rzeczywistego w zakresie obserwowalności i wykrywania anomalii umożliwiają programistom, inżynierom i architektom tworzenie solidnych aplikacji opartych na danych. Dzięki skalowalnej infrastrukturze, zautomatyzowanemu wykrywaniu anomalii i płynnej integracji, StarTree upraszcza proces wykorzystywania informacji w czasie rzeczywistym w celu osiągnięcia sukcesu biznesowego. Ponieważ zapotrzebowanie na analitykę w czasie rzeczywistym stale rośnie, innowacyjne rozwiązania StarTree stawiają deweloperów na czele tej transformacyjnej technologii.