Suche & Sprachen

Hive vektorisiert jedes Neuron mit einem lokalen Embedding-Modell, sodass die semantische Suche funktioniert, ohne Ihre Inhalte an eine Drittanbieter-API zu senden. Welches Modell es verwendet, entscheidet darüber, wie gut die Suche in Ihrer Sprache funktioniert.

Zwei Modelle sind im Image enthalten. Keines wird zur Laufzeit heruntergeladen — auch nicht beim Wechsel zwischen ihnen, daher funktioniert dies auch in einer Air-Gap-Installation.

Wie das englische Modell bei anderen Sprachen versagt

Es wirft keinen Fehler, und gerade das macht eine Erklärung wichtig. Inhalte auf Deutsch, Französisch oder Japanisch werden akzeptiert, eingebettet und von der Suche zurückgegeben — nur weniger genau, und zwar auf zwei konkrete Arten.

• Akzente werden entfernt. Der Tokenizer des englischen Modells faltet schön zu schon — einem anderen deutschen Wort. Umlaute und ß gehen verloren, bevor der Text überhaupt eingebettet wird.
• Wörter zerfallen. Deutsch benötigt mit dem englischen Tokenizer pro Zeichen etwa doppelt so viele Tokens wie mit dem internationalen, sodass lange nicht englische Neuronen das Kontextfenster des Modells früher erschöpfen.

Die praktische Regel: Wenn ein nennenswerter Anteil Ihrer Neuronen nicht auf Englisch ist, wählen Sie International. Ein überwiegend englisches Brain mit gelegentlichen fremdsprachigen Namen oder Zitaten ist mit dem Standard in Ordnung.

Auswahl bei der Installation

Setzen Sie die Umgebungsvariable beim ersten Start des Containers:

docker run -d \
  -e DATABASE_URL=... \
  -e ADMIN_PASSWORD=... \
  -e EMBEDDING_MODEL=international \
  --memory 4g \
  aiqbee/hive-server:latest

Spätere Änderung

EMBEDDING_MODEL wird nur bei der Ersteinrichtung eines Hive gelesen. Sobald Neuronen eingebettet wurden, wird es ignoriert, und eine Änderung in Ihrer Bereitstellungskonfiguration bewirkt nichts außer einem Hinweis auf der Konfigurationsseite.

Das ist Absicht: Ein Modellwechsel bedeutet, jedes Neuron in jedem Brain neu zu verarbeiten, und eine erneute Bereitstellung darf das nie stillschweigend auslösen. Ändern Sie es stattdessen in der Admin-Oberfläche unter Konfiguration → Embedding-Modell. Vor der Bestätigung sehen Sie, wie viele Neuronen betroffen sind, und eine geschätzte Dauer.

Was während der Änderung geschieht

• Neuronen werden im Hintergrund neu verarbeitet. Die Suche bleibt korrekt — noch nicht neu verarbeitete Neuronen werden nur per Stichwortsuche gefunden, die Ergebnisse sind also vorübergehend schmaler, nie falsch.
• Der Fortschritt wird auf der Konfigurationsseite angezeigt.
• Ein Neustart des Containers ist unbedenklich; die Neuverarbeitung wird automatisch fortgesetzt.
• Sie können jederzeit zurückwechseln. Das verarbeitet ebenfalls neu, ist also nicht kostenlos — aber nichts geht verloren.

Stichwortsuche und nicht englischer Text

Das Embedding-Modell übernimmt die semantische Hälfte der Suche. Die Stichwort-Hälfte gleicht den Text selbst ab und funktioniert mit Sonderzeichen in jeder von Hive unterstützten Sprache — eine Suche nach Müller findet Müller.

Eine für Deutsch wissenswerte Einschränkung: Der Stichwortabgleich findet ein zusammengesetztes Substantiv, wenn Sie nach seinem Wortende suchen (Versicherung findet Rechtsschutzversicherung), aber nicht umgekehrt — die Suche nach dem vollständigen Kompositum findet kein Neuron, das nur dessen Teile getrennt erwähnt. Die semantische Hälfte schließt diese Lücke, ein weiterer Grund, bei einem deutschen Korpus International zu verwenden.