Elasticsearch Inverted Index

Einführung

Elasticsearch ist eine beliebte Wahl für Organisationen, die große Datenmengen durchsuchen und analysieren möchten. Die Suchkraft von Elasticsearch stammt von dem invertierten Index, einer Struktur, die Textsuche schnell und effizient macht. Dieser Artikel erklärt den invertierten Index von Elasticsearch, seine Vorteile und wie er sich von anderen Indizierungsmethoden unterscheidet.

Was ist ein Invertierter Index?

Ein invertierter Index ist eine von Suchmaschinen wie Elasticsearch verwendete Datenstruktur.

Er ist auch als Postings-Datei oder invertierte Datei bekannt. Der Zweck des invertierten Indexes besteht darin, bei schnellen Textsuchen zu helfen. Er ordnet jeden einzigartigen Begriff in einer Sammlung von Dokumenten den Orten zu, an denen er erscheint.

Ein invertierter Index speichert eine Liste von einzigartigen Begriffen und deren Häufigkeiten in Dokumenten. Dies geschieht anstatt Dokumente Wort für Wort zu speichern. Der Index speichert die Begriffe und deren Häufigkeiten für eine einfache Wiederherstellung und Analyse. Diese Methode hilft dabei, relevante Informationen schnell innerhalb der Dokumente zu finden.

Hier ist ein einfaches Beispiel, um zu veranschaulichen, wie ein invertierter Index funktioniert:

Dokument 1: "Elasticsearch ist eine leistungsstarke Suchmaschine"
Dokument 2: "Elasticsearch ermöglicht schnelle Datenwiederherstellung"

Der invertierte Index für diese Dokumente würde so aussehen:

"elasticsearch":         [1, 2]
"ist":                    [1]
"eine":                   [1]
"leistungsstarke":        [1]
"suchmaschine":           [1]
"ermöglicht":             [2]
"schnelle":               [2]
"daten":                  [2]
"wiederherstellung":      [2]

Sie können sehen, dass jeder einzigartige Begriff den Dokument-IDs zugeordnet ist, in denen er erscheint. Diese Struktur ermöglicht es Elasticsearch, relevante Dokumente basierend auf Suchanfragen schnell zu lokalisieren.

Was ist eine Dokument-ID?

Sie können die Dokument-IDs sehen, die im Elasticsearch-Index verwendet werden. In der Elasticsearch-Engine hat jedes Dokument eine eindeutige Kennung, die als “_id”-Feld bezeichnet wird. Dieses Feld wird entweder automatisch von Elasticsearch generiert oder explizit von Ihnen bereitgestellt, wenn Sie ein Dokument indizieren.

Sie können das “_id”-Feld und andere Dokument-Felder abrufen, wenn Sie Dokumente aus einem Elasticsearch-Index durchsuchen oder abrufen. Hier sind einige Beispiele, wie Sie auf die Dokument-IDs zugreifen können:

Beim Indizieren eines Dokuments können Sie das “_id”-Feld angeben:

PUT /my-index/_doc/1
{
   "title": "Beispiel Dokument",
   "content": "Dies ist ein Beispiel Dokument."
}

In diesem Fall haben Sie die Dokument-ID explizit auf “1” gesetzt.

Beim Durchsuchen von Dokumenten können Sie das “_id”-Feld in die Antwort aufnehmen:

GET /my-index/_search
{
   "query": {
   "match": {
   "title": "Beispiel"
}
},
   "_source": ["_id", "title", "content"]
}

Der Parameter “_source” gibt an, welche Felder in die Antwort aufgenommen werden sollen. Wir haben auch “_id” zusammen mit “title” und “content” eingeschlossen.

Beim Abrufen eines bestimmten Dokuments nach seiner ID:

GET /my-index/_doc/1

Dies ruft das Dokument mit der ID “1” ab und die Antwort enthält das “_id”-Feld.

Das “_id”-Feld ist kein versteckter Parameter in Elasticsearch. Das Feld ist sichtbar und zugänglich und identifiziert jedes Dokument in einem Index eindeutig.

Benutzer verwenden Dokument-IDs für verschiedene Aufgaben. Diese Aufgaben umfassen das Aktualisieren oder Löschen bestimmter Dokumente. Sie können sie auch verwenden, um Dokumente miteinander zu verknüpfen. Das können Sie tun, indem Sie “Eltern-Kind” oder “verschachtelte” Dokumenttypen verwenden.

Elasticsearch kann eindeutige Dokument-IDs für Sie erstellen, aber Sie können auch Ihre eigenen benutzerdefinierten IDs zuweisen, wenn dies notwendig ist.

Wie Elasticsearch den Invertierten Index Verwendet

Wenn Sie Elasticsearch einrichten und Ihre Daten indizieren, erstellt es automatisch im Hintergrund einen invertierten Index. Während Sie Dokumente hinzufügen, aktualisieren oder löschen, pflegt und aktualisiert Elasticsearch den invertierten Index, um genaue Suchergebnisse sicherzustellen.

Wenn Sie eine Suchabfrage in Elasticsearch ausführen, nutzt es den invertierten Index, um effizient übereinstimmende Dokumente abzurufen. Elasticsearch scannt nicht Dokumente nacheinander durch. Stattdessen sucht es nach Begriffen im invertierten Index, um die Dokument-IDs zu finden. Dieser Ansatz reduziert die Suchzeit erheblich, insbesondere bei großen Datensätzen.

Alternativen zum Invertierten Index

Der invertierte Index wird häufig in Suchmaschinen verwendet, aber es ist wichtig, auch den Vorwärtsindex zu erwähnen. Ein Vorwärtsindex speichert Dokumente als Abfolge von Wörtern und verknüpft jedes Dokument mit seinen Begriffen.

Mit den gleichen Beispieldokumenten wie zuvor würde ein Vorwärtsindex so aussehen:

Dokument 1: ["elasticsearch", "ist", "eine", "leistungsstarke", "suchmaschine"]
Dokument 2: ["elasticsearch", "ermöglicht", "schnelle", "daten", "wiederherstellung"]

Vorwärtsindizes sind für die Textsuche weniger effizient als invertierte Indizes. Die Suche nach einem bestimmten Begriff erfordert das Durchsuchen jeder Dokumentbegriffsliste, was bei großen Sammlungen zeitaufwändig sein kann.

Vorteile des Invertierten Index

Der invertierte Index bietet mehrere Vorteile gegenüber anderen Indizierungsmethoden:

1. Schnelle Suchleistung: Durch die Zuordnung von Begriffen zu Dokument-IDs ermöglicht der invertierte Index Elasticsearch, relevante Dokumente schnell zu lokalisieren. Dies geschieht ohne das Durchsuchen des gesamten Datensatzes.
2. Effiziente Speicherung: Der invertierte Index speichert nur einzigartige Begriffe einmal. Es spielt keine Rolle, wie oft sie in den Dokumenten erscheinen. Dies reduziert den Speicherbedarf im Vergleich zum Speichern doppelter Begriffe in jedem Dokument.
3. Skalierbarkeit: Elasticsearch verteilt Indizes über Knoten in einem Cluster für eine effiziente Suche und Verwaltung großer Datensätze.

Steuern der Indizierungsregeln in Elasticsearch

Elasticsearch bietet Flexibilität bei der Steuerung der Indizierungsregeln durch die Verwendung von Analysatoren und Mappings. Analysatoren bestimmen, wie Text vor dem Indizieren tokenisiert, normalisiert und gefiltert wird. Benutzerdefinierte Analysatoren können erstellt werden, um den Indizierungsprozess an Ihre spezifischen Anforderungen anzupassen. Dies kann die Handhabung von Synonymen, das Entfernen von Stoppwörtern und die Verwendung von Stemming umfassen.

Mappings definieren die Struktur und Datentypen Ihrer Dokumente. Sie können angeben, welche Felder indiziert werden sollen, wie sie analysiert werden sollen und zusätzliche Eigenschaften wie Termvektoren oder Ähnlichkeitsalgorithmen. Durch sorgfältiges Gestalten Ihrer Mappings können Sie den Indizierungsprozess optimieren und die Suchrelevanz verbessern.

Hier ist ein Beispiel für die Einrichtung eines benutzerdefinierten Analysators in Elasticsearch:

PUT /my-index
{
   "settings": {
      "analysis": {
      "analyzer": {
      "my_custom_analyzer": {
      "type": "custom",
      "tokenizer": "standard",
      "filter": [
      "Lowercase",
      "Stop"
      ]
      }
      }
   }
}
}

In diesem Beispiel erstellen wir einen benutzerdefinierten Analysator namens “my_custom_analyzer.” Dieser Analysator verwendet den Standard-Tokenizer, konvertiert Begriffe in Kleinbuchstaben und entfernt Stoppwörter. Sie können diesen Analysator dann auf spezifische Felder in Ihren Mappings anwenden.

Fazit

Der invertierte Index von Elasticsearch ist eine leistungsstarke Datenstruktur, die schnelle und effiziente Textsuche ermöglicht. Durch die Zuordnung einzigartiger Begriffe zu Dokument-IDs kann Elasticsearch relevante Dokumente basierend auf Suchanfragen schnell abrufen. Im Vergleich zu alternativen Ansätzen wie Vorwärtsindizes bietet der invertierte Index eine überlegene Suchleistung und Skalierbarkeit.

Sie können Ihre Suchmaschinenkonfiguration verbessern, indem Sie verstehen, wie der invertierte Index funktioniert. Die Flexibilität von Elasticsearch zur Steuerung der Indizierungsregeln zu nutzen, kann ebenfalls helfen. Dies führt dazu, ausgezeichnete Sucherlebnisse für Ihre Benutzer bereitzustellen.

Bei DataSunrise bieten wir benutzerfreundliche und flexible Tools für Datenbanksicherheit, Audit und Compliance an. Unsere Experten stehen für eine Online-Demo zur Verfügung, um Ihnen zu helfen, Ihre Datenbankbereitstellung zu schützen und zu optimieren.