Starburst, firma zajmująca się otwartymi jeziorami danych, ogłosiła uruchomienie w pełni zarządzanej implementacji Icehouse w Starburst Galaxy, co ma uprościć przepływy pracy związane z analizą danych, poprawić wydajność i obniżyć koszty dla programistów, inżynierów i architektów. Architektura Icehouse, która łączy w sobie moc oprogramowania open-source Trino oraz Apache Icebergma na celu zapewnienie skalowalnego, opłacalnego i […]
Buforowanie żądań RESTful API za pomocą Heroku Data for Redis
Większość twórców oprogramowania napotyka dwa główne problemy: nazywanie rzeczy, buforowanie i błędy typu “off-by-one”. W tym samouczku zajmiemy się buforowaniem. Pokażemy Państwu, jak zaimplementować buforowanie żądań RESTful za pomocą Redis. Z łatwością skonfigurujemy i wdrożymy ten system za pomocą Heroku. W tym demo zbudujemy aplikację Node.js z rozszerzeniem Fastify frameworki zintegrujemy buforowanie z Redis, aby […]
Aplikacja Spring Boot ze Spring REST i Spring Data MongoDB
MongoDB to potężny, zorientowany na dokumenty system zarządzania bazami danych o otwartym kodzie źródłowym, znany ze swojej elastyczności, skalowalności i szerokiego zakresu funkcji. Jest to część rodziny systemów baz danych NoSQL, zaprojektowanych do obsługi dużych ilości danych i zapewniających wysoką wydajność, wysoką dostępność i łatwą skalowalność. MongoDB przechowuje dane w dokumentach podobnych do JSON w […]
Fear and Loath Building Data Lineage
Chcę podzielić się tutaj czymś szczerym: kiedy początkowo rozmawiałem z zespołami danych o liniowości, ośmiu na dziesięciu pytało mnie: “Dlaczego nie mielibyśmy wyświetlać wszystkich połączeń, które mają w swojej hurtowni danych na jednym ekranie?”. Szczerze mówiąc, zawsze mnie to dezorientowało, ponieważ nie rozumiałem, jaki problem próbują w ten sposób rozwiązać. Prawdopodobnie będzie to wyglądało jak […]
Demystifying Data Integration: Kompleksowy przewodnik
W świecie opartym na danych, integracja danych stała się kamieniem węgielnym dla firm w celu efektywnego pozyskiwania, łączenia, zarządzania i interpretowania danych. Ten wpis na blogu zagłębia się w podstawowe koncepcje związane z integracją danych, analizując jej rolę, kluczowe metodologie, innowacyjne strategie i sposoby skutecznego zarządzania tym procesem. Ocenimy również zalety i wady integracji w […]
Data Lineage w nowoczesnej inżynierii danych
Rodowód danych to śledzenie i wizualizacja przepływu i transformacji danych, gdy przechodzą one przez różne etapy potoku danych lub systemu. Mówiąc prościej, zapewnia szczegółowy zapis pochodzenia, ruchów, przekształceń i miejsc docelowych danych w ramach infrastruktury danych organizacji. Informacje te pomagają stworzyć jasną i przejrzystą mapę tego, w jaki sposób dane są pozyskiwane, przetwarzane i wykorzystywane […]
Zaawansowane i dynamiczne wyszukiwanie za pomocą Spring Data JPA
Często jestem proszony o opracowanie zaawansowanych usług wyszukiwania. Przez zaawansowane wyszukiwanie rozumiem wyszukiwanie, w którym możliwe jest zastosowanie wielu filtrów do wszystkich (lub prawie wszystkich) pól, takich jak like, between, in, greater than itp. Proszę więc wyobrazić sobie konieczność zbudowania usługi opartej na jednej lub kilku jednostkach zdolnych do oferowania punktu końcowego, który można nazwać […]
NFT Wallets Unleashed: A Data Structures and Application Design Journey (Struktury danych i projektowanie aplikacji)
Niezależnie od tego, czy są Państwo zainteresowani szumem wokół NFT, czy też nie, jako inżynier oprogramowania, bycie na bieżąco z najnowszymi innowacjami ma kluczowe znaczenie. Zagłębianie się w technologie leżące u podstaw tak modnych funkcji jest zawsze fascynujące. Zazwyczaj wolę pozwolić, aby kurz opadł, zanim wskoczę, ale teraz wydaje się, że jest to dobry czas, […]