Author Topic: [German] Metadaten schreiben dauert sehr lange  (Read 161 times)

walle

  • New Members
  • *
  • Posts: 45
[German] Metadaten schreiben dauert sehr lange
« on: November 23, 2020, 07:24:58 PM »
Hi,

ich bitte euch um Hilfe bei einem Problem.

Zur Erklärung zuerst eine Beschreibung meiner Arbeitsumgebung: Meine aktuellen Bilder habe ich auf einer internen SSD.
Ältere Bilder habe ich auf externen HDDs, die über USB 3 angebunden sind. Betriebsystem ist Windowws 10, Imatch in
aktueller Version.

Wenn Imatch Metadaten zurückschreibt, geht das bei den Bildern auf der SSD flott - keine Probleme. Bei den Bildern auf
der HDD dauert solch eine Aktion extrem lange. Das es länger dauert wundert mich nicht, aber es geht um
Größenordnungen wie diese: 120 Bilder mit einer Gesamtgröße von 20 GB benötigen mehrere Stunden. Anscheinend
verliert Exiftool während eieser Zeit auch widerholt den Faden, so dass ich anschließend eine Vielzahl von "exiftool_tmp"-
Dateien löschen muss.

Als Workaround kopieren ich inzwischen die zu aktualisierenden Dateien von der HDD auf die SSD, aktualisiere dort und
schiebe sie anschließend wieder zurück an den Ursprungsort. Das dauert dann für das Kopieren, Aktualisieren der
Metadaten udn wieder Zurückschieben jeweils zirka fünf Minuten, zusammen also rund 15 Minuten. Die Zeit ist okay,
aber es ist sehr umständlich. Zudem wird durch diesen Umweg klar, das die extrem lange Zeit, die Imatch für der
direkte Aktualisieren benötigt, sich nicht allein auf die USB-Anbindung zurückführen lässt. Kann mir jemand die Ursache
des Problems und bestenfals auch bei der Lösung auf die Sprünge helfen?

Bevor jemand um ein Logile bittet: Das kann ich nicht liefern, denn die Datenbank enthält viele Daten, die ich nicht
veröffentlichen darf und die in der Logdatei auftauchen könnten. Ich bitte um Verständnis.

Walle

Mario

  • IMatch Developer
  • Administrator
  • *****
  • Posts: 27213
Re: [German] Metadaten schreiben dauert sehr lange
« Reply #1 on: November 23, 2020, 08:28:39 PM »
Ich (und viele andere Anwender) nutzen normale Festplatten für Bilder. Externe USB 3.0 Platten sind etwas langsamer, aber normalerweise kein Problem. Ich nutze 4 WD 4TB USB 3.0 disks.
Beim Rückschreiben schreibt IMatch via ExifTool die Daten und ließt anschließend das Ergebnis wieder ein (das Schreiben aktualisiert auch Digests und Zeitstempel) und die Datenbank muss aktualisiert werden.

Welche Zeiten schreibt IMatch denn in die Logdatei?
Irgendwelche W> Warnungen oder E> Fehler?
Ohne Logfile ist eine weiterführende Analyse schwer. Du kannst das log auch an support email address senden (gezipped).

120 Dateien und nur 20GB ist nicht wirklich viel.
Wenn ExifTool "den Faden" verliert und die Schreibzeiten sehr lang sind, ist vielleicht der Virus-Checker schuld? Oder das System wird unter 100% Stress instabil (kann sogar das Kabel zur Platte sein!).
Vielleicht einfach mal weniger parallele Fäden für das Rückschreiben einstellen (Bearbeiten > Einstellungen > Application: Prozesskontrolle). Versuch mal 2 oder 4 Threads für das Rückschreiben. Dann wird Dein System nicht mehr so stark ausgelastet.

walle

  • New Members
  • *
  • Posts: 45
Re: [German] Metadaten schreiben dauert sehr lange
« Reply #2 on: November 25, 2020, 12:45:09 PM »
Hi Mario,

nach deinen Hinweisen habe ich ein paar Testläufe durchgeführt - immer mit den gleichen 100 Dateien (28 GB) auf der externen HDD, Speichern der Metadaten immer nach Änderung der Bewertungen aller Dateien.
Die Ergbnisse sind leider sehr ungleichmäßig. Bei den Durchläufen 5 und 5 vom 24.11. mutmaße ich, dass ein im Hintergrund laufendes Backupropgramm die Ergebnisse beeinflusst hat.

Die Zeiten (h:mm:ss) wurden gemessen bis zum Verschwinden des Aktualisierungsdialogfeldes.

24.11. 1. Antivirus ein, 4 Export-Threads: 0:49:35 - anschließend 0 verwaiste tmp-Datei(en)
24.11. 2. Antivirus aus, 4 Export-Threads: 0:23:12 - anschließend 0 verwaiste tmp-Datei(en)
24.11. 3. Antivirus ein, 4 Export-Threads: 0:27:10 - anschließend 1 verwaiste tmp-Datei(en)
24.11. 4. Antivirus aus, 4 Export-Threads: 0:28:03 - anschließend 0 verwaiste tmp-Datei(en)
24.11. 5. Antivirus aus, 2 Export-Threads: sehr langsamer Start, sofort 2 verwaiste tmp-Dateien => Abbruch
24.11. 6. Antivirus aus, 2 Export-Threads: Abbruch nach 25 min für 42 Datei(en)

25.11. 1. Antivirus ein, 4 Export-Threads: 1:00:46 - anschließend 1 verwaiste tmp-Datei(en)
25.11. 2. Antivirus ein, 4 Export-Threads: 0:34:02 - anschließend 2 verwaiste tmp-Datei(en)
25.11. 3. Antivirus ein, 4 Export-Threads: 0:32:45 - anschließend 3 verwaiste tmp-Datei(en)
25.11. 4. Neustart Imatch, Antivirus ein, 4 Export-Threads: 0:35:32 - anschließend 4 verwaiste tmp-Datei(en)
25.11. 5. 20 Datein (6 GB), Antivirus ein, 4 Export-Threads: 0:06:42 - anschließend 0 verwaiste tmp-Datei(en), Debug-Log erstellt

Zum Schluss dann noch ein Durchlauf meines oben beschriebenen Workarounds mit den gleichen Dateien und Einstellungen:
Verschiebennach SSD: 0:00:17
Metadaten schreiben:   0:02:09
Verschiebennach HDD: 0:05:08

Eine Lg-Datei schicke ich dir per E-Mail.

Gruß, Walle