Pamiętam czasy, gdy urządzenia mobilne zaczęły zyskiwać na popularności.

Podczas gdy byłem podekscytowany sposobem na pozostanie w kontakcie z przyjaciółmi i rodziną, byłem znacznie mniej podekscytowany ograniczenia na długość połączeń i liczbę wiadomości tekstowych, które mogłem wykorzystać … zanim zostałem zmuszony do zapłacenia więcej.

Proszę wierzyć lub nie, ale wpisy #646 (#MIN) i #674 (#MSG) wciąż pozostawały w mojej książce adresowej aż do niedawnego czyszczenia. Kiedyś numery te stanowiły przydatny mechanizm do określania, jak blisko byłem osiągnięcia miesięcznych limitów narzuconych przez mojego dostawcę usług.

W bardzo podobny sposób znalazłem się ostatnio w interesującym położeniu jako inżynier oprogramowania – zastanawiając się, jak logować się mniej, aby uniknąć przekroczenia limitu. log ingestion limity określone przez naszego dostawcę platformy obserwowalności.

Zacząłem się zastanawiać, jak długo jeszcze potrwa ten paradygmat.

Trud oceny logów pod kątem ich przetwarzania

Pamiętam, kiedy po raz pierwszy skontaktowano się z moim zespołem projektowym, ponieważ progi pozyskiwania logów przekraczały oczekiwany limit u naszego partnera w zakresie obserwowalności. Kolekcja nowych usług RESTful została niedawno wdrożona w celu zastąpienia starzejącego się monolitu.

Z perspektywy wsparcia technicznego nasz zespół podjął świadomy wysiłek, aby zapewnić zespołowi wsparcia produkcji dużą ilość logów – na wypadek, gdyby usługi nie działały zgodnie z oczekiwaniami. Przypadków brzegowych było więcej niż pokrycia testami regresji, więc spodziewaliśmy się, że alternatywne przepływy wywołają wyniki, które będą wymagały dodatkowego debugowania, jeśli nie zostaną przetworzone zgodnie z oczekiwaniami. Podobnie jak w większości przypadków, projekt miał agresywne terminy, których nie można było przekroczyć.

Kiedy zostaliśmy poinstruowani, by “logować mniej”, nieplanowany wysiłek stał się naszym priorytetem. Problem polegał na tym, że nie byliśmy w 100% pewni, jak najlepiej postępować. Nie wiedzieliśmy, które komponenty są w lepszym stanie walidacji (aby ich logi zostały zredukowane) i nie byliśmy dokładnie pewni, ile logów musielibyśmy usunąć, aby nie przekraczać progu.

Dla naszego zespołu wysiłek ten był doskonałym przykładem tego, co stało się znane jako trud:

“Toil to rodzaj pracy, która ma tendencję do bycia ręczną, powtarzalną, automatyczną, taktyczną, pozbawioną trwałej wartości i która skaluje się liniowo wraz ze wzrostem usługi”. – Eric Harvieux (Google Site Reliability Engineering)

Każda minuta spędzona przez nasz zespół na zmniejszaniu ilości logów wprowadzanych do obserwowalność kosztem dostarczenia mniejszej liczby funkcji i funkcjonalności dla naszych usług. W końcu było to nasze pierwsze z wielu planowanych wydań.

Dążenie do podejścia “rejestruj wszystko, co uznasz za konieczne”

Nasz zespół naprawdę potrzebował scenariusza, w którym nasz partner w zakresie obserwowalności był w pełni zainwestowany w sukces naszego projektu. W tym przypadku przełożyłoby się to na podejście “rejestruj wszystko, co uznasz za konieczne”.

Ci, którzy przeszli tę ścieżkę wcześniej, prawdopodobnie pomyślą “tutaj JV w końcu stracił rozum”. Proszę pozostać ze mną, ponieważ myślę, że jestem na dobrej drodze do czegoś wielkiego.

Niestety, obecnie oczekuje się, że platforma obserwowalności może nałożyć limity na ilość logów, które mogą być pozyskiwane. Smutną częścią tego podejścia jest to, że w ten sposób platformy obserwowalności zaspokajają swoje potrzeby. do przodu swoich klientów – którzy polegają na ich usługach i płacą za nie.

W rzeczywistości nie różni się to niczym od czasów, gdy polegałem na kontaktach #MIN i #MSG w moim telefonie, aby upewnić się, że żyję w ramach limitów nałożonych na mnie przez mojego dostawcę usług mobilnych. Ostatecznie mój operator komórkowy usunął te limity, pozwalając mi korzystać z ich usług w sposób, który pozwolił mi odnieść sukces.

Najważniejsze jest to, że konsumenci korzystający z platform obserwowalności powinni mieć możliwość pozyskiwania wszystkiego, co uważają za ważne dla wspierania swoich klientów, produktów i usług. Do platform obserwowalności należy dostosowanie się do związanych z tym wyzwań, ponieważ klienci chcą pozyskiwać więcej danych.

To dokładnie tak, jak projektujemy nasze usługi w świecie opartym na popycie. Nie wyobrażam sobie sytuacji, w której mówię klientowi: “Przykro mi, ale w tym miesiącu przekazał nam Pan zbyt wiele danych do przetworzenia”.

Proszę płacić za popyt, a nie za spożycie

Lepszym podejściem jest tutaj koncepcja płacenia za wgląd, a nie ograniczanie faktycznego pozyskiwania logów. W końcu mamy rok 2024 – czas, w którym wszyscy powinniśmy być przyzwyczajeni do obsługi ogromnych ilości danych.

Koncepcja “płać za zapotrzebowanie – nie za pozyskiwanie danych” była uważana za “chybioną” w branży obserwowalności… aż do niedawna, kiedy przeczytałem, że Sumo Logic zakłóciło funkcjonowanie branży. DevSecOps świat wg. usunięcie ograniczeń dotyczących pozyskiwania logów. To podejście zakłócające rynek obejmuje koncepcję “loguj wszystko, co uważasz za konieczne” z gwiazdą północną skoncentrowaną na eliminacji silosów danych dziennika, które zostały wyłączone lub pominięte z powodu progów pozyskiwania.

Po pozyskaniu danych, algorytmy AI/ML pomagają identyfikować i diagnozować problemy – nawet zanim pojawią się one jako incydenty i przerwy w świadczeniu usług. Sumo Logic bierze na siebie ciężar obsługi dodatkowych danych, ponieważ zdaje sobie sprawę, że klienci są skłonni zapłacić uczciwą cenę za wgląd uzyskany dzięki ich podejściu.

Jak więc wygląda ta nowa strategia w zakresie oczekiwań dotyczących kosztów obserwowalności?

Może to być trudne do dokładnego określenia, ale jako przykład, jeśli Państwa mała lub średnia organizacja generuje średnio 25 MB danych dziennika do pozyskania na godzinę, może to przełożyć się na natychmiastowe oszczędności w wysokości 10-20% (przy użyciu estymatora cen Sumo Logic) na Państwa rachunku obserwowalności.

Przyjmując takie podejście, każdy pojedynczy log jest dostępny na niestandardowej platformie, która skaluje się wraz ze wzrostem obserwowalności podmiotu. W rezultacie funkcje AI/ML mogą natychmiast czerpać z tych informacji, aby pomóc w diagnozowaniu problemów – nawet zanim pojawią się one u konsumentów.

Kiedy myślę o projekcie, o którym wspomniałem powyżej, naprawdę wierzę, że zarówno mój zespół, jak i zespół wsparcia produkcji byliby w stanie wykryć anomalie szybciej niż to, co byliśmy zmuszeni wdrożyć. Zamiast tego musieliśmy reagować na nieoczekiwane incydenty, które miały wpływ na doświadczenia klientów.

Wnioski

Byłem w stanie usunąć wpisy #MIN i #MSG z mojej książki adresowej, ponieważ mój operator komórkowy wyeliminował te limity, zapewniając lepsze wrażenia dla mnie, ich klienta.

Moi czytelnicy mogą pamiętać, że skupiłem się na następującej misji, która moim zdaniem może mieć zastosowanie do każdego profesjonalisty IT:

“Proszę skupić swój czas na dostarczaniu funkcji, które zwiększają wartość Państwa własności intelektualnej. Proszę wykorzystać frameworki, produkty i usługi do wszystkiego innego”. – J. Vester

W 2023 roku zacząłem również intensywnie myśleć o trudzie i świadomie szukać sposobów na uniknięcie lub wyeliminowanie tego irytującego zabójcy produktywności.

Koncepcja “zero dollar ingest” zakłóciła rynek obserwowalności, biorąc przykład z podręcznika dostawcy usług mobilnych. Wyeliminowanie progów pozyskiwania logów stawia klientów w lepszej pozycji do odniesienia sukcesu z własnymi klientami, produktami i usługami (proszę dowiedzieć się więcej o projekcie Sumo Logic). tutaj).

Z mojej perspektywy, nie tylko jest to zgodne z moją misją, ale także zapewnia bezproblemowe rozwiązanie problemu pozyskiwania logów, ilości danych i skali.

Życzę Państwu miłego dnia!