kurs ElasticSearch

Nie wiesz czym jest ElasticSearch, ELK czy Elastic Stack ? Nie martw się, w tym dniu rozwiejemy wszelkie wątpliwości.

Przejdziemy przez różne metody instalacji i pracy z ElasticSearch. Od preferowanego systemu, jakim jest Linux, przez wykorzystanie Dockera i Vagranta na Windows i Mac.

Naszym podstawowym narzędziem pracy w kurcie będzie Kibana ze swoimi narzędziami deweloperskimi. Zobaczymy jak z nich korzystać i jak mogą nam ułatwić pracę.

ElasticSearch jest rozwiązaniem, które bardzo dobrze się skaluje. Uzyskano to dzięki odpowiedniej architekturze, o której nieco sobie porozmawiamy.

Czas zacząć pracę i utworzyć pierwszy indeks. Przekonacie się, jak prosto wygląda tworzenie indeksu oraz jakie mamy ograniczenia w późniejszych operacjach na indeksie. Dodatkowo zobaczymy jak łatwo można usunąć indeks oraz ustawić aliasy pod którymi będzie dostępny.

Pomimo że typy powoli są wycofywane z ElasticSearch. Nadal możecie się z nimi spotkać w starszych wersjach. Opowiem wam jak błędne myślenie o typach, może doprowadzić do problemów z ich obsługą. Co poniekąd przełożyło się na ich wycofanie.

Proces dodawania dokumentów do indeksu jest najważniejszym elementem silnika ElasticSearch. Gdyż od tego procesu zależy czy użytkownicy będą w stanie wyszukać informacje, które ich interesują.

Pomimo że ElasticSearch nie wymaga od nas definiowania struktury dokumentu w odróżnieniu od standardowych baz danych. To zobaczymy jak to robić i czy powinniśmy to robić ?

Przyjrzymy się pierwszemu etapowi, jakim jest przepuszczenie surowych danych przez filtry.

Tokenizacja jest drugim etapem, jakim są poddawane dane dodawane do indeksu. Od dobrania odpowiedniego tokenizera zależy jakie tokeny zostaną stworzone.

Ostatni etap dodawania danych do indeksu, czyli nałożenie filtrów na utworzone tokeny.

Trzyetapowy proces dodawania danych do indeksu jest oparty o analizery. Przyjrzymy się czym są i jakie analizery są udostępniane wraz z silnikiem wyszukiwania.

Gdy wbudowane analizery nie są dla nas wystarczające, mamy możliwość stworzenia własnego analizera. W tej lekcji dowiemy się jak to zrobić i używać różnych analizerów dla różnych pól w dokumencie.

Poza standardowymi typami pól w dokumentach, mamy kilka specjalnych typów. Jednym z takich typów jest typ object oraz jego rozwinięcie czyli nested. Typ object pozwala przechowywać w polu obiektów JSON-a, a nested tablicę takich obiektów.

Multi-fields daje nam możliwość dla jednego pola podłączenia różnych analizerów. Co w rezultacie umożliwia nam przygotowanie danych w różny sposób w ramach jednego pola.

ElasticSearch nie jest bazą relacyjną i z założenia nie przechowuje relacji pomiędzy dokumentami. Jednak udostępnia mechanizm, który może w pewnym stopniu odtworzyć relacje. Pytanie tylko czy warto skorzystać z takiej możliwości ?

Kiedy mamy już dane w indeksie to zapewne w którymś momencie będziemy chcieli je zaktualizować. I tu może zaciekawić Cię fakt, że ElasticSearch nie aktualizuje dokumentu, a usuwa go i dodaje ponownie.

Dokumenty z indeksu jest bardzo proste, wystarczy znać ich identyfikator. Jednak możemy pokusić się o usunięcie całego zbioru dokumentów na podstawie określonych kryteriów.

W przypadku, gdy chcemy wykonać jakąkolwiek operację na większym zbiorze dokumentów. To może się okazać, że operacje na pojedynczych dokumentach nie są najwydajniejsze. Dla takich przypadków ElasticSearch dostarcza mechanizmy wykonywania jednoczesnych operacji na wielu dokumentach.

W pewnym momencie może zajść potrzeba przeniesienia danych pomiędzy indeksami. W takich przypadkach możemy posłużyć się opcją reindex.

ElasticSearch jest kojarzony głównie jako wyszukiwarka pełnotekstowa. Jednak nie jest to jedyny sposób wyszukiwania. Na początek przyjrzymy się klasycznym sposobom wyszukiwania.

Najprostszą metodą wyszukiwania jest wyszukiwanie określonej frazy w określonym polu. Pomimo prostoty tego rozwiązania przekonasz się jak łatwo ulec starym schematom i popełnić błąd.

Ten rodzaj wyszukiwania jest naturalnym rozwinięciem poprzedniego. I pozwala wyszukiwać wiele fraz w określonym polu.

Poza prostym dopasowaniem fraz do określonego pola. Możliwe jest także przeszukiwanie pól pod kątem mieszczenia się w danym zakresie. A zakresem mogą być liczby czy daty w różnym formatowaniu oraz strefach czasowych.

Sposób wyszukiwania przydatny przy implementacji auto uzupełniania czy podpowiedzi dla użytkownika. W tym przypadku wystarczy, że mamy początek frazy zgodny z tokenami, a silnik znajdzie nam odpowiednie dokumenty.

Nietypowymi rodzajami wyszukiwania jest przeszukiwanie Wildcard. Jest ono prostszą wersją wyszukiwania na podstawie wyrażenia regularnego, które także jest dostępne.

Naturalną rzeczą jest popełnianie literówek przez użytkowników wyszukiwarki. Poza standardowym mechanizmem podpowiedzi możemy użyć mechanizmu fuzzingu. Pozwala on na eliminację tego problemu w naszej wyszukiwarce.

W przypadku wyszukiwania pełnotekstowego musimy poznać proces, który zachodzi przed samym procesem wyszukiwania. Gdyż tak samo, jak w przypadku dodawania dokumentów wyszukiwany tekst jest filtrowany tokenizowany i ponownie filtrowany.

Zaczynamy od najprostszego sposobu wyszukiwania, czyli szukamy określonego testu w określonym polu.

Naturalne rozwinięcie wyszukiwania Match. Czyli wyszukiwanie po kilku polach, przy czym dzięki dodatkowym parametrom. Mamy możliwość traktowania kilku pól jak jednego czy też określania procentowo poziomu trafności w stosunku do wpisanej frazy.

Gdy wyszukiwanie pojedynczych słów to za mało i chcemy wyszukać określoną frazę.

Rozwinięcie wyszukiwania Match Phrase poprzez dodanie prefiksu. Czyli poza określoną frazą ostatnie słowo jest początkiem jakiegoś tokenu.

Zaawansowane wyszukiwarki pokroju Google posiadają mechanizmy dla zaawansowanych użytkowników. Dzięki znajomości tych mechanizmów jesteśmy w stanie powiedzieć, że dane słowa muszą wystąpić w dokumencie czy też wykluczyć jakieś słowo. Takie właśnie dostarcza nam wyszukiwanie typu Query String.

W związku z pewnymi komplikacjami w obsłudze zapytań Query String zostało dodane prostsze wyszukiwanie o bardzo zbliżonych możliwościach.

Poznaliśmy różne metody wyszukiwania fraz oraz wyszukiwania pełnotekstowego. Czasem zachodzi potrzeba połączenia kilku metod wyszukiwania, aby uzyskać zadowalający wynik. Przyjrzymy się jak możemy to osiągnąć za pomocą Bool Query.

Wyszukiwarka ElasticSearch wspiera wiele języków, dzięki czemu ich obsługa staje się bardzo łatwa. Zobaczymy jakie języki są dostępne od ręki, a dla jakich będziemy musieli dodać obsługę sami.

W związku z barkiem obsługi naszego rodzimego języka przez wyszukiwarkę. Będziemy musieli zapewnić sobie obsługę sami. Zobaczymy jak to zrobić wykorzystując różne pluginy oraz słowniki.

Obsługa synonimów przydaje się, gdy tworzymy wyszukiwarki dla klientów sklepów czy osób przeszukujących zbiory tekstowe. Podobne zastosowanie ma eliminacja zbędnych słów z tych tekstów tzw. stopwords-ów.

Lista dokumentów zwracanych przez ElasticSearch jest posortowana na podstawie pola _score. Jest to pole określające poziom trafności dla danego dokumentu w ramach danego wyszukiwania. Możemy zmienić domyślne zachowanie ElasticSearch-a i posortować dokumenty na podstawie innego pola.

Pole _score jest wyliczane dynamicznie, a na jego wartość wpływa bardzo dużo czynników. O czym się przekonamy dodając parametr explain w zapytaniach wyszukujących. Co ważniejsze możemy w dość prosty sposób wpływać na wartość tego wyniku poprzez ustawienie poziomów ważności dla danych pól w dokumentach.

Gdyby określanie poziomów ważności pól nie było wystarczające to mamy możliwość napisania własnych funkcji przeliczających wartość _score. Zobaczymy jak to zrobić i jak wpływa na wydajność wyszukiwania.

ElasticSearch nie jest jedynie silnikiem wyszukiwania pełnotekstowego. Jest także bardzo dobrą bazą danych z rozbudowanymi metodami agregacji.

Najprostszy sposób agregacji polegający na grupowaniu wyników wyszukiwania w zbiory. Sposób ten dostarcza jedynie ilości dokumentów w zbiorach bez dodatkowych danych.

Agregacja z uwzględnieniem metryk daje nam możliwość określenia sumy, wartości maksymalnej czy minimalnej oraz wielu innych metryk.

Dzięki możliwości połączenia agregacji typu Bucket z agregacjami metrycznymi. Jesteśmy w stanie bardzo fajnie grupować dokumenty w zbiory i wyciągać z nich dane metryczne.

Ostatni rodzaj agregacji, który jest dość specyficzny. Pozwala na podstawie wyników jednej agregacji przygotowywać kolejne agregacje. Tworząc dowolny poziom zagłębienia takich agregacji.

Agregacje mogą istnieć jako samodzielne zapytania. Jednak czy nie przydatną opcją byłoby dołączenie ich do rezultatów wyszukiwania?

Na koniec naszej przygody z agregacją danych. Zobaczymy jak takie agregacje są przechowywane w pamięci, czy możemy otrzymać tylko wynik oraz, czy możemy dodać jakieś dane do zwracanego wyniku.

SQL to standard w relacyjnych bazach danych. Więc może nieco dziwić, że pojawia się w nierelacyjnej bazie danych. Przekonajmy się, czy da się tego rozwiązania używać zamiast standardowych zapytań opartych o JSON-a.

Wykorzystujemy SQL-a przez standardowe API REST-owe ElasticSearch-a.

Dzięki dostarczeniu klienta konsolowego, zapytania SQL możemy wysyłać bezpośrednio z konsoli.

Poza konsolą oraz REST-owym API mamy możliwość skorzystania z JDBC oraz ODBC. Tym samym mamy możliwość podłączenia się do bazy z poziomu np. Excel-a.

W związku z tym, że możemy traktować obsługę SQL-a przez ElasticSearch-a jako nowy dialekt. To nie znajdziemy tam wszystkich funkcji. Przyjrzymy się co na ten moment zostało nam udostępnione.

Sposoby agregacji danych już znamy. Czas skonfrontować je z agregacją dostępną za pomocą SQL-a.

W związku z tym, że dla ElasticSearch-a SQL nie jest standardowym sposobem przeszukiwania. Pojawiają się pewne ograniczenia w użyciu tego rozwiązania. Przekonajmy się, jakie i czy w związku z tym warto korzystać z SQL-a.

W podstawowej wersji ElasticSearch niestety nie udostępnia nam żadnego mechanizmu zabezpieczającego. Co było już przyczyną wielu wycieków danych użytkowników. W tej lekcji dowiesz się jak uchronić się przed takimi sytuacjami.

X-Pack, to rozwiązanie dostarczane przez twórców ElasticSearch. Pozwala ono na zabezpieczenie naszej instalacji przed nieautoryzowanym dostępem. Niestety nie ma żadnej wersji bezpłatnej. Jednak możemy skorzystać z wersji trial i przetestować jego możliwości.

X-Pack jest świetnym rozwiązaniem, ale co gdy nasze wymagania są minimalne i nie chcemy płacić majątku za rozbudowane rozwiązanie ? Z pomocą przychodzi Search Guard, który ma darmową wersję !

Do tej pory korzystaliśmy jedynie z narzędzi deweloperskich Kibany. A możliwości tego narzędzia są dużo większe. I pozwalają na indywidualne spersonalizowanie ich pod siebie poprzez tworzenie widoków.

Przetwarzacie duże zbiory logów lub chcecie zasilać indeksy z innych źródeł danych bez konieczności pisania aplikacji. To rozwiązanie jest właśnie dla was, przyjrzymy się jak w prosty sposób importować logi oraz dane z baz danych.

Rozwiązanie to jest pewną alternatywą dla Logstash-a. Dostarcza bowiem wiele rozwiązań pracujących na logach czy innych źródłach danych. Bez konieczności znajomości sposobu konfiguracji poszczególnych elementów. Wszystko za nas robi Beats.

Nasza przygoda z silnikiem ElasticSearch dobiegła końca. W lekcji tej postaram się pokazać, gdzie warto zaglądać i zdobywać nowe informacje o tym silniku wyszukiwania. Gdyż rozwiązanie to rozwija się bardzo dynamicznie i warto śledzić nowinki, jakie się pojawiają w kolejnych wersjach.