Author Topic: [GERMAN] Schreiben und anschließendes Lesen der Metadaten  (Read 378 times)

ChristopherFoto

  • Sr. Member
  • **
  • Posts: 259
[GERMAN] Schreiben und anschließendes Lesen der Metadaten
« on: November 28, 2020, 12:29:47 PM »
Hallo zusammen,
ich habe mit IMatch irgendwie ein Problem, bzw. verstehe den Ablauf nicht.
Wenn zum Beispiel bei 200 Dateien die Metadaten geändert wurden und diese mit dem Stift geschrieben werden, liest IMatch danach alle Metadaten erneut ein.
Warum , traut es seinen eigenen Schreibroutinen nicht, dies verzögert die Performance aus meiner Sicht unnötig.Noch schlimmer wird es wenn in den Einstellungen die "Automatische Hintergrndaktualisierung" eingeschaltet ist, hier habe ich bei sehr vielen Änderungen dann immer wieder den Eindruck, dass sich IMatch hier verschluckt und es dauert unendlich lange.
Sonst finde ich IMatch wirklich gut, aber dieses Verhalten stört mich doch sehr.
Regards Christopher

I have troubled the search, have found, unfortunately, nothing, perhaps, I have looked for the wrong concept.
Excuse for my English

Mario

  • IMatch Developer
  • Administrator
  • *****
  • Posts: 28532
Re: [GERMAN] Schreiben und anschließendes Lesen der Metadaten
« Reply #1 on: November 28, 2020, 02:32:22 PM »
Dieser Schritt ist selbstverständlich notwendig.

Das Schreiben von n Tags kann die Aktualisierung von m Tags erfordern. ExifTool aktualisiert z.B. Zeitstempel, generiert Digests und aktualisiert Prüfsummen, bildet zwischen XMP und EXIF/IPTC/GPS ab usw.
Das nachfolgende Einlesen des Ist-Standes der Metadaten in der Datei synchronisert all diese Aktualisierungen wieder zurück in die Datenbank.

IMatch macht nichts unnötiges.

Quote
und es dauert unendlich lange.
IMatch schreibt und ließt Dateien in mehreren Programmfäden parallel. Die Ausführungszeiten sind normalerweise exzellent.
Das hängt natürlich von der Art und Größe der Datei ab (10 MB JPEG, 50 MB RAW oder 500 MB PSD), wo die Datei gespeichert ist (SSD, Festplatte, externe Platte, Netzlaufwerk), der Performance Deines Computers usw. IMatch protokolliert die exakten Zeiten in der Logdatei (log file).

In 90% der "IMatch ist langsam"-Fälle ist der Virenchecker Schuld. Siehe IMPORTANT: Virus Checkers

Hänt mal eine Logdatei von einer IMatch-Sitzung an, bei der Du Dateien geschrieben hast. Dann sehen wir genau, was wie lange dauert und wo Du ggf. etwas optimieren kannst.

ChristopherFoto

  • Sr. Member
  • **
  • Posts: 259
Re: [GERMAN] Schreiben und anschließendes Lesen der Metadaten
« Reply #2 on: November 28, 2020, 02:38:54 PM »
Dieser Schritt ist selbstverständlich notwendig.

Das Schreiben von n Tags kann die Aktualisierung von m Tags erfordern. ExifTool aktualisiert z.B. Zeitstempel, generiert Digests und aktualisiert Prüfsummen, bildet zwischen XMP und EXIF/IPTC/GPS ab usw.

Das bedeutet aber wohl auch, das IMatch nicht genau weiß, welche Metadaten mit ExifTool aktualisiert werden, sonst wäre ja klar, welchen Stand die Daten haben.

Das nachfolgende Einlesen des Ist-Standes der Metadaten in der Datei synchronisert all diese Aktualisierungen wieder zurück in die Datenbank.

Und meist ist es dann so, das die Daten dann noch einmal erneut geschrieben werden müssen, also diese Procedur 2 mal durchlaufen wird.
Warum  muss ich das Schreiben den Metadaten dann noch mal von Hand anstoßen, wenn ich vorher schon gesagt habe mach dies.
« Last Edit: November 28, 2020, 02:40:57 PM by ChristopherFoto »
Regards Christopher

I have troubled the search, have found, unfortunately, nothing, perhaps, I have looked for the wrong concept.
Excuse for my English

Mario

  • IMatch Developer
  • Administrator
  • *****
  • Posts: 28532
Re: [GERMAN] Schreiben und anschließendes Lesen der Metadaten
« Reply #3 on: November 28, 2020, 04:23:26 PM »
Quote
Das bedeutet aber wohl auch, das IMatch nicht genau weiß, welche Metadaten mit ExifTool aktualisiert werden, sonst wäre ja klar, welchen Stand die Daten haben.
Richtig. Das interessiert IMatch auch gar nicht, dafür ist ExifTool zuständig. Welche Daten zusätzlich zu den geschriebenen Daten aktualisiert werden müssen ist sehr komplex und die Logik dafür befindet sich in ExifTool.

Quote
Und meist ist es dann so, das die Daten dann noch einmal erneut geschrieben werden müssen, also diese Procedur 2 mal durchlaufen wird.

Falsch. Das ist normalerweise niemals notwendig.
Der einzige Grund, warum IMatch Metadaten zweimal schreiben muss, um eine Synchronisation herzustellen, ist das Vorhandensein von nicht korrekt synchronisierten Daten in der Ursprungsdatei. In der Regel Schlüsselwörter in XMP und IPTC.

Wenn das bei Dir so extrem häufig vorkommt, würde ich an Deiner Stelle mal meinen Workflow und die anderen Anwendungen, die ich verwende, prüfen. Und was die so mit den Metadaten anstellen.

Tip: Der Metadata Analyst analysiert Deine Dateien und zeigt die Probleme in den Metadaten an.
« Last Edit: November 28, 2020, 07:45:35 PM by Mario »

ChristopherFoto

  • Sr. Member
  • **
  • Posts: 259
Re: [GERMAN] Schreiben und anschließendes Lesen der Metadaten
« Reply #4 on: November 29, 2020, 07:35:11 PM »
Hänt mal eine Logdatei von einer IMatch-Sitzung an, bei der Du Dateien geschrieben hast. Dann sehen wir genau, was wie lange dauert und wo Du ggf. etwas optimieren kannst.


heute habe ich es wieder gehabt, das Lesen der Metadaten nach dem schreiben hat sehr lange gedauert , das Log habe ich angehängt.
Laut LOG wurden 175 Dateien neu eingelesen Zeitstempel im LOG: 19:20:46 bis 19:22:01
Da IMatch nur XMP-Sidecars zu den NEF's schreibt, sollte dies doch deutlich schneller gehen.
Hier sind einige Lücken von 8 bis 15 Sekunden, in denen wohl nicht viel geschieht, warum?
Regards Christopher

I have troubled the search, have found, unfortunately, nothing, perhaps, I have looked for the wrong concept.
Excuse for my English

Mario

  • IMatch Developer
  • Administrator
  • *****
  • Posts: 28532
Re: [GERMAN] Schreiben und anschließendes Lesen der Metadaten
« Reply #5 on: November 29, 2020, 08:10:26 PM »
Deine Datenbank ist sehr klein, weniger als 40,000 Dateien.
Trotzdem meldet das Datenbanksystem seht oft, das Transaktionen nicht geöffnet werden können, oder nur mit teils über 10 Sekunden (statt 10 Millisekunden) Wartezeit.
Das System performt extrem schlecht.

Hast Du IMatch und das Datenbankverzeichnis im Virenchecker ans Ausnahme definiert? Das sieht nämlich so aus, als würde der Virenchecker alle Datenbankzugriffe auf Schneckentempo bremsen.
ExifTool ließt Metadaten sehr schnell, mit ca. 2 Sekunden pro 5 Dateien parallel, mit jeweils über 400 Tags.
Ein Writeback kommt im Log nicht vor.

Wenn die Datenbank wie eine Schnecke performt, nützt das alles nichts. IMatch wird dadurch total ausgebremst.
Ist E: Deine schnellste Platte?

ChristopherFoto

  • Sr. Member
  • **
  • Posts: 259
Re: [GERMAN] Schreiben und anschließendes Lesen der Metadaten
« Reply #6 on: November 29, 2020, 08:24:30 PM »
Die E-Platte ist auch eine SSD, auf dieser liegt z.B. auch der Lightroom KatalogAuch ist  das Verzeichenis "e:\IMatch2017\Datenbank\" in GData als Ausnahme definiert.
Regards Christopher

I have troubled the search, have found, unfortunately, nothing, perhaps, I have looked for the wrong concept.
Excuse for my English

Mario

  • IMatch Developer
  • Administrator
  • *****
  • Posts: 28532
Re: [GERMAN] Schreiben und anschließendes Lesen der Metadaten
« Reply #7 on: November 29, 2020, 10:27:50 PM »
Warum ist dann die Performance so unterirdisch...
Solche Ausführungszeiten sehe ich nicht einmal mit einer 500,000 Dateien Datenbank auf einem 3 Jahre alten Rechner.

Vielleicht ist der PC anderweitig überlastet? Setz mal die Threads under Bearbeiten > Einstellungen > Anwendung auf 2 oder 4 (falls die CPU mehr als 4 Kerne hat).
Siehe Process Control (Advanced Setting)