MyScale(otwiera nowe okno) wprowadził funkcję EmbedText (otwiera nowe okno)w najnowszej wersji zintegrowanej wektorowej bazy danych SQL. Ta potężna funkcja łączy w sobie wydajność zapytań SQL i najnowocześniejszą technologię osadzania tekstu opartą na sztucznej inteligencji, dzięki czemu można używać znanej składni SQL do precyzyjnego dopasowywania tekstu i wydajnego obliczania podobieństwa semantycznego.
Dzięki pełnej integracji Jina Embeddings v2 (otwiera nowe okno)MyScale EmbedText pozwala użytkownikom wykorzystać możliwości Jina AI w MyScale do przetwarzania tekstu o długości wejściowej do 8K przy użyciu standardowej składni SQL, co umożliwia zrozumienie i przetwarzanie znacznie dłuższych tekstów niż kiedykolwiek wcześniej. Niezależnie od tego, czy chodzi o przetwarzanie złożonych danych wielojęzycznych, czy tworzenie zaawansowanych aplikacji AI, programiści mogą natychmiast skorzystać z najlepszych modeli osadzania Jina AI za pośrednictwem MyScale na każdym etapie procesu programowania.
Czym jest MyScale?
MyScale to natywna dla chmury wektorowa baza danych SQL, która umożliwia programistom znającym SQL tworzenie generatywnych aplikacji AI o jakości produkcyjnej. Zbudowany na bazie ClickHouse (otwiera nowe oknoMyScale integruje wyszukiwanie i przechowywanie wektorowe ze skalowalną relacyjną bazą danych, zapewniając wydajne przechowywanie i przetwarzanie danych strukturalnych i nieustrukturyzowanych oraz usprawniając złożoną inżynierię baz danych, zapewniając jednocześnie najwyższą niezawodność i wydajność aplikacji AI.
MyScale’s Funkcja EmbedText wykorzystuje znaną składnię SQL, aby uprościć generowanie wektorów osadzania tekstu, umożliwiając użytkownikom przyjęcie popularnych modeli sztucznej inteligencji do swoich projektów. Korzystając z automatycznego przetwarzania wsadowego EmbedText, programiści mogą znacznie poprawić wydajność przetwarzania dużych ilości danych bez polegania na zewnętrznych narzędziach lub wykonywania skomplikowanego programowania.
Czym jest Jina Embeddings?
Jina Embeddings v2 to pierwszy na świecie i jak dotąd jedyny model osadzania tekstu o otwartym kodzie źródłowym, który obsługuje 8192 rozmiary wejściowe tokenów. Jest on dostępny w trzech wersjach: Tylko w języku angielskim (otwiera nowe okno), dwujęzyczny Chińsko-angielski (otwiera nowe okno)i dwujęzyczny niemiecko-angielski (otwiera nowe okno.
Cechy:
- Wiodąca w branży wydajność porównywalna z zamkniętym modelem Ada 2 firmy OpenAI.
- Obsługa tekstów składających się z ponad 8 tysięcy tokenów, przełamująca barierę dla długich reprezentacji wektorowych tekstu i pozwalająca programistom w pełni reprezentować semantykę tekstów w wielu skalach.
- Obsługa wielu języków, z modelem reprezentującym chiński i angielski w jednej przestrzeni osadzania i innym, który robi to samo dla niemieckiego i angielskiego, z większą liczbą języków w przyszłości. Jina Emebddings umożliwia wielojęzyczne aplikacje wykorzystujące modele wyspecjalizowane w tych konkretnych językach, a nie masywny, nieefektywny model sztucznej inteligencji o nierównej i niejasnej wydajności dla dużej liczby różnych języków.
- Ranking LlamaIndex (otwiera nowe okno) wśród najlepszych na świecie modeli osadzania dla aplikacji RAG (Retrieval-Augmented Generation).
Korzystanie z Jina Embeddings v2 w MyScale
Programiści mogą używać Jina Embeddings z funkcją EmbedText w MyScale do dwóch operacji: wstawiania danych i zapytań opartych na osadzaniu. W tej sekcji zostaną omówione szczegóły obu tych funkcji.
Tworzenie uproszczonej funkcji
Jedną z praktycznych strategii jest zadeklarowanie funkcji SQL zdefiniowanej przez użytkownika (UDF), która tworzy osadzenia tekstu i zawiera odpowiednią nazwę modelu, dostawcę i klucz API, dzięki czemu informacje te nie muszą być powtarzane i mogą być łatwo zmieniane w razie potrzeby.
Poniższa instrukcja SQL deklaruje funkcję JinaAIEmbedText do tego celu. Proszę wstawić własny klucz API w odpowiednim miejscu.
Po utworzeniu uproszczonej funkcji można użyć Jina Embeddings w MyScale, aby zoptymalizować wyszukiwanie wektorowe. Zapytania przy użyciu osadzeń są zgodne ze standardowymi metodami SQL. Jest to bardzo proste przy użyciu JinaAIEmbedText:
Wstawianie danych
Można utworzyć tabelę SQL, która konwertuje dane tekstowe na wektory za pomocą funkcji JinaAIEmbedText z powyższej funkcji. Na przykład:
Integracja MyScale z modelami Jina Embeddings v2 oferuje programistom solidne ramy do tworzenia generatywnych aplikacji AI opartych na bazie danych, oszczędzając czas, wysiłek i pieniądze przy wprowadzaniu nowych aplikacji na rynek.
Jego szczególne zalety obejmują:
- Niższe koszty obliczeniowe: MyScale zapewnia doskonałą wydajność bazy danych przy znacznym zmniejszeniu zużycia pamięci w porównaniu do swoich konkurentów, co czyni ją wysoce opłacalnym wyborem do wspierania aplikacji AI. Jina Embeddings, dając programistom wybór między różnymi rozmiarami modeli i rozmiarami wektorów osadzania, oferuje im narzędzia do zarządzania kosztami obliczeń i pamięci masowej.
- Zwiększona elastyczność: Synergia między MyScale i Jina Embeddings zapewnia programistom większą elastyczność, szczególnie w trudnych scenariuszach aplikacji, takich jak długie dokumenty i duże kolekcje dokumentów.
- Dokładniejsze wyszukiwanie: MyScale osiąga potężne wyszukiwanie filtrowane metadanymi dzięki unikalnemu algorytm MSTG (otwiera nowe okno), podczas gdy Jina Embeddings zapewnia bardziej precyzyjne reprezentacje semantyki tekstu, poprawiając dokładność wyszukiwania informacji. Prowadzi to do bardziej świadomego podejmowania decyzji i lepszej wydajności aplikacji, zwłaszcza w zakresie poprawy dokładności aplikacji RAG. Połączenie tych dwóch technologii wznosi wyszukiwanie na nowy poziom.
Połączenie MyScale z Jina Embeddings otwiera praktyczne zastosowania, szczególnie w przypadku chatbotów wzbogaconych o RAG. MyScale, wzbogacone o Jina Embeddings, może działać jako pojedyncze źródło danych dla Państwa chatbota, zapewniając bezpieczeństwo, spójność i integralność danych. MyScale zmniejsza również redundancję danych poprzez przechowywanie odniesień do rekordów, poprawiając dostępność i oferując Państwu zaawansowaną kontrolę dostępu.
Zdolność Jina Embeddings v2 do przetwarzania długich tekstów sprawia, że idealnie nadaje się do zarządzania danymi wejściowymi do systemów dialogowych. Chatboty stworzone przy użyciu Jina Embeddings lepiej rozumieją kontekst konwersacji, znacznie poprawiając wydajność w długich czatach i złożonych scenariuszach.
Patrząc w przyszłość
Głęboka integracja MyScale i Jina Embeddings v2 umożliwia programistom wprowadzenie sztucznej inteligencji do swoich projektów. Obejmuje to tworzenie inteligentnych robotów do obsługi klienta, opracowywanie dokładniejszych aplikacji do wyszukiwania w różnych językach oraz optymalizację procesów analizy i zarządzania dokumentami prawnymi i biznesowymi. Dzięki MyScale i Jina Embeddings deweloperzy mogą odkrywać szerszy zakres scenariuszy zastosowań i tworzyć bardziej innowacyjne i praktyczne aplikacje AI, które zapewniają użytkownikom większą wartość.