Ponieważ przedsiębiorstwa dążą do szybkiego osiągania wyników w niezawodny i zrównoważony sposób, znaczenie danych bazowych staje się nadrzędne. Głównym wyzwaniem w zarządzaniu tymi danymi jest zróżnicowany zestaw możliwości wymaganych w ramach architektury danych. Ważne jest, aby wziąć pod uwagę nie tylko czas potrzebny na integrację różnych danych. integracja danych i możliwości zarządzania w celu zapewnienia płynnego doświadczenia, ale także w jaki sposób procesy te różnią się w różnych segmentach organizacji.

Co więcej, wraz z pojawieniem się nowych innowacji i postępu technologicznego, możliwości te muszą być stale aktualizowane i refaktoryzowane. W tym kontekście krytyczne staje się zbudowanie platformy danych – lub bardziej trafnie, ekosystemu danych – która może być wykorzystywana w całym przedsiębiorstwie, oferując komplementarne, elastyczne i skalowalne możliwości.

Korzyści płynące z ekosystemu danych są wielorakie, oferując zwiększoną elastyczność i zaufanie przy jednoczesnej minimalizacji ryzyka. Co więcej, znaczenie ekosystemu danych rozciąga się na znajomość danych i rozwój umiejętności w zakresie danych – stanowi on synergiczną sieć ludzi, procesów i technologii poświęconych gromadzeniu, przechowywaniu, udostępnianiu i wykorzystywaniu danych. Konieczne jest, aby przedsiębiorstwa zachęcały swoje zespoły do poznania, zrozumienia i przyjęcia ekosystemu danych.

Rysunek 1. Kluczowe zasady ekosystemu danych

Dlaczego sztuczna inteligencja wymaga solidnego ekosystemu danych?

W miarę jak organizacje wprowadzają innowacje Sztuczna inteligencja (AI), konieczne jest zapewnienie solidnych podstaw danych, które umożliwiają zaufanie, skalowalność i współpracę. Jak pokazano na rysunku 1, ekosystem danych zapewnia, że społeczności wprowadzające innowacje w zakresie sztucznej inteligencji (tradycyjnej i/lub generatywnej) mogą wykorzystywać kluczowe elementy solidnego ekosystemu danych w sposób przyszłościowy. Ekosystem zapewnia wszystkie komponenty wymagane do skalowania przypadków użycia związanych ze sztuczną inteligencją, a produkty danych zapewniają narzędzie do pozyskiwania i wykorzystywania danych w niezawodny i możliwy do zaobserwowania sposób.

Obejmuje to:

• Infrastruktura danych
• Obliczenia i wydajność
• Zarządzanie danymi w celu uzyskania wglądu w dane i ich jakość
• Zarządzanie danymi
• Bezpieczeństwo i powiązane dane podstawowe i metadane

Jakie są krytyczne komponenty ekosystemu danych?

Infrastruktura danych

Infrastruktura danych służy jako podstawowy filar, na którym budowane są wszystkie inne możliwości, zarówno pojedyncze, jak i wielokrotne. Przedsiębiorstwa coraz częściej stosują podejście hybrydowe, integrując systemy lokalne z różnymi usługami w chmurze w celu spełnienia różnych funkcji. Jednocześnie kluczowe znaczenie ma zajęcie się kluczowymi elementami, takimi jak bezpieczeństwo i zarządzanie polityką w ramach tej infrastruktury, szczególnie w celu dostosowania się do branż regulowanych i spełnienia wymogów dotyczących rezydencji danych oraz przepisów takich jak RODO i CCPA. Ponadto równie istotna jest zdolność do efektywnego skalowania aplikacji – poprzez ułatwianie ich wdrażania i rozszerzania w ramach tej infrastruktury danych.

Przechowywanie danych i obliczenia

Obecnie poleganie wyłącznie na jednym data lake lub hurtownia danych nie jest już wystarczająca, ponieważ infrastruktura danych stale się rozwija. Różne zasoby pamięci masowej i obliczeniowe muszą być wykorzystywane w oparciu o konkretne potrzeby, takie jak przypadek użycia, szybkość danych i zastosowane wzorce analityczne. W międzyczasie pojawiają się uniwersalne ramy i formaty, takie jak Apache Iceberg i Delta, w celu standaryzacji rozwiązań pamięci masowej, wraz z rosnącym wykorzystaniem wspólnych formatów kompresji, takich jak Parquet i Avro. Muszą one być kompatybilne z hybrydowymi infrastrukturami danych, aby w przypadku przejścia przedsiębiorstwa do innego dostawcy usług w chmurze, zmiana w zakresie przechowywania danych i obliczeń mogła nastąpić bez znaczącego wysiłku.

Holistyczne zarządzanie danymi

Holistyczny, a jednocześnie elastyczny ekosystem zarządzania danymi powinien być w stanie działać w całym hybrydowej infrastrukturze wielochmurowej, wykorzystując możliwości różnych pamięci masowych i zasobów obliczeniowych, niezależnie od używanych aplikacji lub chmur. Konsola zarządzania danymi powinna być zaprojektowana z myślą o scentralizowanej kontroli, umożliwiając jednocześnie zdecentralizowane wykonanie w całej hybrydowej infrastrukturze wielochmurowej. Przykładowo, jeśli przedsiębiorstwo wykorzystuje Snowflake do przechowywania i przetwarzania danych, funkcje zarządzania danymi, takie jak jakość danych, powinny zostać przetłumaczone na procedury natywne dla Snowflake. Podobnie, jeśli przedsiębiorstwo zdecyduje się na Databricks, powinno dostosować swoje procesy, aby wykorzystać natywne możliwości Databricks Spark, umożliwiając im efektywne funkcjonowanie w ekosystemie danych.

Data Governance i Data Pprodukty

Ważne jest, aby wzmocnić pozycję przedsiębiorstwa, w którym komponenty zarządzania danymi mogą być wspierane przez silną warstwę zarządzania danymi i warstwę udostępniania danych opartą na produktach danych. Takie podejście wymaga wsparcia silnego fundamentu metadanych, aby połączyć koncepcje biznesowe i korporacyjne ze złożonością technologii bazowej. Umożliwia to nietechnicznym użytkownikom danych pracę z danymi. Mogą to robić bez pełnego zrozumienia szczegółów bazowego ekosystemu pamięci masowej, obliczeń i infrastruktury.

Skalowanie zarządzanie danymi wymagają silnej warstwy automatyzacji, która obejmuje współpracę i rekomendacje. Zapewnia to prawidłowe wykorzystanie ekosystemu danych i umożliwia automatyzację zadań ręcznych. Zasadniczo warstwa zarządzania danymi i produktami danych musi być ściśle zintegrowana z resztą warstwy zarządzania danymi.

Analityka i Operational PProcesy

Warstwa ta została zaprojektowana w celu wspierania procesów analitycznych i operacyjnych, obejmujących sztuczną inteligencję i uczenie maszynowe, samoobsługowe raportowanie i aplikacje związane z operacjami. Kluczowe jest, aby zarządzanie danymi i możliwości zarządzania danymi współpracowały w celu zapewnienia zaufanych produktów danych zarówno dla systemów analitycznych, jak i operacyjnych. Analityka wykorzystuje tę wyrafinowaną inteligencję do interakcji z bazową pamięcią masową danych, zasobami obliczeniowymi i warstwami infrastruktury danych w celu uzyskania dostępu do najbardziej odpowiednich zbiorów danych.

Czynniki generujące wartość dla przedsiębiorstwa

Wartość złożona

Jeśli ekosystem danych jest dobrze zaprojektowany i skonstruowany, będzie miał znaczną wartość w miarę pojawiania się nowych przypadków użycia. Wartość ta przejawia się w zdolności do skutecznego identyfikowania istniejących produktów danych, łączenia się z odpowiednimi menedżerami danych, budowania zaufania do danych oraz łatwego przygotowywania i łączenia danych w celu spełnienia określonych wymagań każdego przypadku użycia.

Aby jeszcze bardziej wyjaśnić tę wartość, dobrze zaprojektowany ekosystem danych umożliwia następujące działania:

Zmniejszone ryzyko i zwiększona odpowiedzialność

Ekosystem danych może zapewnić zestaw zintegrowanych usług i możliwości, które zapewniają łatwą przejrzystość, łącząc ze sobą różne aspekty przedsiębiorstwa. Skupienie się na współpracy umożliwia jednostkom biznesowym wnoszenie wkładu, ponieważ widzą one wyodrębnioną wartość dla swojej jednostki biznesowej i przedsiębiorstwa jako całości.

Zwiększona elastyczność

Cała struktura ekosystemu danych opiera się na modułowości i ponownym wykorzystaniu. Umożliwia to przedsiębiorstwu identyfikację, wykorzystanie i automatyzację, zapewniając zwiększoną elastyczność. Na przykład automatyzacja klasyfikacji danych w celu połączenia różnych sklasyfikowanych elementów z metadanymi i jednostkami przechowywania danych oraz atrybutami umożliwia łatwiejszą / skonsolidowaną jakość i ochronę danych.

Redukcja kosztów i wzrost wartości

Koszty można obniżyć na kilka sposobów, po pierwsze poprzez konsolidację możliwości technologicznych i ograniczenie rozwiązań punktowych, kosztów integracji różnych rozwiązań oraz kosztów zarządzania i utrzymania wszystkich rozwiązań i umiejętności. Drugim krokiem byłoby wykorzystanie inteligentnych możliwości, takich jak FinOps, gdzie na przykład warstwa zarządzania danymi może – w oparciu o obciążenia – działać na najbardziej opłacalnej opcji przechowywania danych i obliczeń w oparciu o przypadki użycia.

Podsumowanie

Ekosystem danych zapewnia znaczną wartość i zdolność adaptacji dla przedsiębiorstw i liderów z przyszłościową strategią opartą na sztucznej inteligencji. Taki ekosystem musi być dynamiczny, stale dostosowując się do nowych wymagań biznesowych i postępu technologicznego. Kluczowe znaczenie dla zespołów ma zrozumienie całego ekosystemu danych, a nie stosowanie pojedynczej funkcji do każdego przypadku użycia. Osiągnięcie pełnego spektrum korzyści zazwyczaj wymaga również zmiany kulturowej w przepływach pracy w przedsiębiorstwie. Transformacja ta umożliwia zespołom biura danych efektywne zarządzanie, utrzymywanie, skalowanie i ilościowe określanie wartości ekosystemu danych w całej organizacji.