nasindex Dokumentation

Ein Indexierungszyklus

Der erste Zyklus über ein grosses Archiv dauert Stunden. Danach dauert ein Zyklus über ein unverändertes Archiv nur noch Sekunden bis Minuten.

Was der Pfad verrät

Aus 21099-XXX / 1 Aufträge / 32162_Falttor Anlieferung / 2 Vergabe / 1 Angebote / Offerte_240813.pdf liest nasindex:

Duplikate führt nasindex über den Inhalt zusammen. Es gewinnt die Kopie mit Dokumentklasse, dann mit Gattung, dann die ausserhalb von Sicherungs-, Kopie- oder Versandordnern, dann der kürzere Pfad. Das Jahr stammt aus Pfad oder Dateiname, sonst aus dem Dateidatum. Es taugt für Zeitraumfilter, nicht für Aussagen wie «im Jahr X vergeben».

Voraussetzungen

• Docker mit Docker Compose v2. Prüfen mit docker compose version.
• Mindestens 5 GB frei im Installationsordner, dazu Platz für den Index, rund ein Zehntel der Archivgrösse.
• Tailscale auf dem Rechner mit nasindex und auf jedem Arbeitsplatz mit Claude.
• Auf den Arbeitsplätzen Claude Desktop mit Node.js, oder Claude Code.
• Im Modus cifs: ein NAS-Benutzer mit nur Leserecht auf die Archiv-Freigabe. Ein Administrator-Konto braucht nasindex nie.

Starten

Paket entpacken, den Ordner nasindex nicht umbenennen oder verschieben, dann darin:

sh installieren.sh

Auf dem Mac geht auch ein Doppelklick auf Installieren.command. Braucht Docker Administratorrechte, wie auf dem Synology-NAS üblich, fragt das Skript selbst nach dem Passwort.

Seed: Katalog von einem anderen Rechner

Ein stärkerer Rechner baut den Index einmal komplett. Sein Katalog besteht aus vier Einträgen: catalog.jsonl.gz, catalog.json, text/ und meta/. Im Container liegen sie unter /daten:

mkdir nasindex-katalog
docker cp nasindex:/daten/catalog.jsonl.gz nasindex-katalog/
docker cp nasindex:/daten/catalog.json nasindex-katalog/
docker cp nasindex:/daten/text nasindex-katalog/
docker cp nasindex:/daten/meta nasindex-katalog/

Den Ordner aufs Zielsystem kopieren und dem Assistenten bei der Frage nach dem Seed-Pfad angeben. Beim ersten Start spielt nasindex ihn ein, im Log als Zeile seed: …. Danach meldet der Abgleich meist «0 neu, 0 geändert».

Was entsteht

Alle Dateien haben die Rechte 600, nur der Besitzer kann sie lesen. Bestehende Dateien überschreibt der Assistent nur nach Rückfrage. Im Modus cifs prüft er die Zugangsdaten am NAS, bevor er startet, und fragt bei einem Fehler bis zu drei Mal neu.

Fortschritt und erneuter Aufruf

Nach dem Start zeigt der Assistent den ersten Zyklus live, zum Beispiel Schritt 5 von 7: Texte auslesen - 1234 von 20000 (6 %), noch ~3 h 10 min. Ctrl-C beendet nur die Anzeige, die Indexierung läuft weiter. Den Stand später wieder ansehen:

sh installieren.sh

Das Skript fragt dann «Die Fragen neu beantworten?». Enter heisst nein: es prüft nur und zeigt den Stand.

Fragen, die damit gehen

meta_only heisst: kein Volltext, etwa bei CAD-Plänen und Bildern. Sie sind über Pfad und Dateiname trotzdem auffindbar. missing heisst: die Datei ist aus dem Archiv verschwunden.

Aktualisieren

Ein Update ist ein neues Paket. Am selben Ort entpacken und vorhandene Dateien überschreiben lassen. .env und die Zugangsdaten sind nicht im Paket und bleiben. Dann sh installieren.sh und «Die Fragen neu beantworten?» mit Enter verneinen. Der Index bleibt erhalten.

Anbieter

Geprüft hat Digital Apes nur anthropic mit dem Standardmodell. Bei openai und eigener muss das Modell ein JSON-Schema einhalten und Dokumente bis 500'000 Zeichen fassen, etwa 125'000 Token.

Ablauf

docker compose exec nasindex python3 /app/nasindex.py felder --trockenlauf
docker compose exec nasindex python3 /app/nasindex.py felder --limit 15
docker compose exec nasindex python3 /app/nasindex.py felder

Der Trockenlauf zeigt Anzahl, Zeichen und bei anthropic die geschätzten Kosten, ohne ein Dokument zu senden. Richtwert: 541 Werkverträge mit 14,7 Mio. Zeichen kosten rund 13 bis 15 US-Dollar. --limit 15 gibt ein kleines Set zum Gegenlesen. Ein abgebrochener Lauf macht beim nächsten Aufruf weiter. Nicht parallel zu einem laufenden Indexierungszyklus starten.

Vortest bei eigenem Modell

Vor jedem Lauf fragt nasindex den Server nach der Kontextgrösse und schickt eine Probe mit einem erfundenen Mini-Vertrag. So zeigt sich vorab, ob das Modell das Format einhält. Zu grosse Dokumente bleiben für ein Modell mit mehr Kontext liegen. Meldet der Server keine Kontextgrösse (Ollama, LM Studio, llama.cpp), setzen Sie sie im Assistenten oder als EXTRAKTION_KONTEXT. Ollama kürzt zu lange Eingaben still.

Feldregeln

• Vertragsnummer nur, wenn das Dokument sie als Vertrags-, Auftrags-, Bestell-, Nachtrags- oder Mehrkostennummer bezeichnet. Projekt-, Objekt-, Kostenstellen- und BKP-Nummern nie.
• Auftragnehmer sind nie Architekt, Fachplaner, Bauleitung oder Ingenieurbüro, ausser im eigenen Planervertrag. Auch nicht eine Liefer- oder Rechnungsadresse.
• Unterzeichner AN nur aus der Auftragnehmerfirma.
• Währung nur bei genanntem Betrag, nie aus einer IBAN.
• Telefon und E-Mail nur, wenn sie eindeutig zum Auftragnehmer gehören.
• Optional ein Auftraggeber: der Name gilt dann nie als Auftragnehmer.

Eine Regeländerung wirkt nur auf neu ausgelesene Verträge. felder --force liest alle neu und kostet wie ein voller Lauf.

Ressourcen: Die Compose-Dateien setzen 4 CPUs und 4 GB Arbeitsspeicher. Richtwert: 1 GB je gleichzeitig ausgelesener Datei plus 1 GB Grundlast. Ein ungültiger Wert bricht den Start mit einer Meldung ab, die nur den Namen der Einstellung nennt.

Ordner absichtlich entfernt

Die Schutzwache verhindert, dass ein kurz fehlendes Netzlaufwerk den Index leert. Ist der Rückgang gewollt, einmal bestätigen:

docker exec nasindex python3 /app/nasindex.py scan --verschwunden-ok --root /archiv --index /daten --cache /daten --rolle indexer

Meldungen von archiv_status

Rückgabewerte von build

Bei Fragen schicken Sie Digital Apes die Ausgabe von docker compose logs --tail 200 nasindex. Sie enthält keine Zugangsdaten.