Exportworkflow: Unterschied zwischen den Versionen

Aus Consilium Communis Neuss
Zur Navigation springen Zur Suche springen
 
(22 dazwischenliegende Versionen von 3 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
 
Worum geht es: Wir kommen wir von einem transkribus-Export zu den finalen TEI-Daten?
 
Worum geht es: Wir kommen wir von einem transkribus-Export zu den finalen TEI-Daten?
 +
* [[Diskussionen zu Datenmodell, Kuratierung und Export]]
  
 
= Kontrolle =
 
= Kontrolle =
 +
 
(wie stellen wir sicher, dass ein Band Exportreif ist? Was ist zu prüfen?)
 
(wie stellen wir sicher, dass ein Band Exportreif ist? Was ist zu prüfen?)
  
−
* alle Seiten transkribiert?
+
Die ersten 3 Punkte (Vollständigkeit der Transkription, richtige Erfassung der Textregionen & Zeilen und Markierung der Sitzungs- und Eintragsstruktur) sollten vor einem ersten Export überprüft und korrigiert werden. Im Anschluss kann das Transkribus-Dokument exportiert und transformiert werden. Anhand des XML-Dokuments wird auch ein Kontrollbericht erstellt, der bei der weiteren Fehlersuche hilft.
−
** Transkription augenscheinlich vollständig und "gut"?
+
 
−
** Fragezeichen im Text, die noch zu klären sind? Können die noch gelöst werden?
+
== Vollständigkeit der Transkription ==
−
** Überflüssiges gelöscht? -> erstes Wort der nächsten Seite steht oft am unteren Seitenrand -> löschen, falls transkribiert!
+
 
−
* Textregionen
+
* Transkription augenscheinlich vollständig und "gut"?
−
** Titel (heading)
+
* Fragezeichen im Text, die noch zu klären sind? Können die noch gelöst werden? (ggf. Markierung als `unclear`)
−
*** Sitzungsnummer Teil des Titels, da sie sich auf die ganze Sitzung bezieht
+
* Suche nach tag "unclear" um Unklarheiten in der Transkription direkt zu finden (Suche dabei auf Dokument beschränken)
−
** Marginalien (marginalia)
+
* Überflüssiges gelöscht?
−
*** vor den Eintrag auf den sie sich beziehen
+
** erstes Wort der nächsten Seite steht oft am unteren Seitenrand -> Zeile löschen, falls transkribiert!
−
** Absätze (paragraph, ggf. paragraph-continued)
+
** Nachträglich eingefügte Seitenzahlen müssen nicht transkribiert werden.
−
* alle Personen und Orte ausgezeichnet?  
+
 
−
** Keys vergeben?  
+
== Erfassung der Textregionen & Zeilen ==
−
** Einheitlich (großzügig) gemacht?
+
 
−
* alle Textphänomene (welche gibt es) ausgezeichnet?
+
* Titel und Überschriften(heading)
−
** Überschriften
+
** Sitzungsnummer Teil des Titels, da sie sich auf die ganze Sitzung bezieht (Bsp. in Band 40)
 +
* Marginalien (marginalia)
 +
** vor den Eintrag auf den sie sich beziehen, wenn sie als Überschrift/Kurzzusammenfassung fungieren
 +
* Absätze (paragraph, ggf. paragraph-continued)
 +
* Wenn eine Zeile nicht durch Export und Transformation kommt, dann fehlt vermutlich das Baseline-Element in Transkribus. Das Line-Element, das in Transkribus als Kasten/geschlossenes Polygon eine Zeile umfasst, reicht nicht.
 +
 
 +
== Markierung der Sitzungs- und Eintragsstruktur ==
 +
 
 +
* Zuständige Person/en aus der [https://docs.google.com/spreadsheets/d/19qr3S-WZK8oukHYKnU29ErrjGUMXSAcRzkicX9VKnJw/edit?usp=sharing Tabelle] übernommen?
 +
* Am Anfang einer Sitzung (type=session)
 +
* Am Anfang eines Eintrags (type=entry nicht zwingend notwendig, ohne type wird der Abschnitt in der XSLT-Transformationen als entry erkannt)
 +
* Am Anfang des Sitzungsabschlusses (type=closer)
 +
 
 +
== Textauszeichnung ==
 +
 
 +
* Alle Personen, Orte, Berufe und Institutionen ausgezeichnet?  
 +
** Keys vergeben?
 +
** Suche nach Registertags (person, place, organization, occupation) und Ergebnis nach Eigenschaften sortieren (Suche dabei auf Dokument beschränken)
 +
* Alle Textphänomene ausgezeichnet?
 
** durchgestrichen
 
** durchgestrichen
 
** unterstrichen
 
** unterstrichen
Zeile 25: Zeile 45:
 
** tiefgestellt
 
** tiefgestellt
 
** Abkürzungen
 
** Abkürzungen
−
* anfang jedes Eintrags mit gap gekennzeichnet? Zuständige Person/en aus der [https://docs.google.com/spreadsheets/d/19qr3S-WZK8oukHYKnU29ErrjGUMXSAcRzkicX9VKnJw/edit?usp=sharing Tabelle] übernommen?
 
  
−
= transkribus-Export =
+
= Transkribus-Export und Transformation =
−
(welche Einstellungen müssen wir beim Export vornehmen?)
+
 
 +
== Transkribus ==
 +
Oben links auf das "Export Document"-Icon klicken (gelber Ordner mit grünem Pfeil nach rechts). In dem sich dann öffnenden Fenster oben links von "Server export" auf "Client export" wechseln.
 +
 
 +
Über "Client export" exportiert man es im "Transkribus Document" Format und bei "Export page" wählt man nur "Export Page" aus:
 +
 
 +
[[Datei:CC-Transkribus-Export.png|mini|zentriert|600px|Transkribus Export]]
 +
 
 +
Beim Client-Export entsteht standardmäßig ein Ordner mit dem Dokumentnamen (B_01_01-[Bandnummer]). Beim Export als "Transkribus Document" befindet sich in diesem Ordner ein Unterordner, der gleichfalls nach dem Dokumentnamen benannt ist. Darin sind die Daten enthalten ("mets.xml", "metadata.xml" und der Unterordner "page" mit XML-Dateien (eine pro Dokumentseite).
 +
 
 +
== Transformation ==
 +
 
 +
Es gibt zwei Möglichkeiten die Transkribusexporte zu transformieren. Dazu befinden sich im GitLab-Repo [https://git.uni-wuppertal.de/dhsfu/consilium-communis/-/tree/SSG/scripts consilium-communis/scripts] zwei XProc-Skripte und mehrere XSLT-Skripte.
 +
 
 +
* "Transkribus2TEI.xpl" kann auf auf das "mets.xml" eines Transkribusexports angewendet werden, um die TEI-XML-kodierte Transkription des entsprechenden Bandes (Band_##.xml) und einen Kontrollbericht (Band_##_report.html) zu erzeugen.
 +
* "Transkribus2TEI_all.xpl" kann mehrere Transkribusexporte in einem Durchgang verarbeiten. Dazu muss in dem Skript die Variable "data_directory" den Pfad zum Verzeichnis mit den Transkribusexporten enthalten.
 +
 
 +
== Ordnerstrkutur eines Band mit Input und Output ==
  
−
== 16.08.2022 ==
+
* B_01_01-##
−
[https://git.uni-wuppertal.de/dhsfu/consilium-communis/-/issues/21 Produktion: Band 40 Export und Nachkuratierung]
+
** B_01_01-##
 +
*** mets.xml
 +
*** metadata.xml
 +
*** page
 +
**** B_01_01-##-0001.xml
 +
**** B_01_01-##-0002.xml
 +
**** etc.
 +
** Band_##.xml
 +
** Band_##_report.html
  
−
{| class="wikitable"
+
Siehe auch das [https://git.uni-wuppertal.de/buw-dh/consilium-communis-data/-/tree/main/baende Daten-Repo].
−
|-
 
−
! Transkribus !! TEI-xml !! Bemerkungen
 
−
|-
 
−
| gap-tag zu Beginn bzw. in der ersten Textregion eines Eintrags mit resp-Attribut || <nowiki><div xml:id="B_01_01-[Band Nr.]-[Eintragsnummer]" type="entry" resp="[BearbeiterInnen]" n="[Eintragsnummer]">[...]</div></nowiki> || Es kann mehrere Einträge auf einer Seite geben und es kann Einträge über mehrere Seiten hinweg geben.
 
−
|-
 
−
| heading-Textregion || <nowiki><head facs="[...]">[...]</head></nowiki> ||
 
−
|-
 
−
| marginalia-Textregion || <nowiki><note place="margin-left" facs="[...]">[...]</note></nowiki> || Das place-Attribut wird basierend auf den Koordinaten automatisch im XSLT-Skript erzeugt.
 
−
|-
 
−
| paragraph-Textregion || <nowiki><p facs="[...]">[...]</p></nowiki> ||
 
−
|-
 
−
| paragraph-continued-Textregion || <nowiki><ab facs="[...]">[...]</ab></nowiki> || Absätze können über Seitenumbrüche hinausgehen
 
−
|}
 
  
 
= Kuratierung des Exports =
 
= Kuratierung des Exports =
−
(welche Phänomene müssen wir bereinigen oder umformen?)
+
* Die Tags in Transkribus (strukturelle und textuelle) müssen einheitlich verwendet werden!
 +
* Die bestimmten Kombinationen von Tags können zu unerwarteten Problemen führen (z. B. in Person-Tag wird einen Place-Tag verwendet, der über zwei Seiten hinausgeht o.ä.) Ähnlich sieht es mit neuen Tags aus, die in den Workflow vor kurzem eingeführt wurden, aber in XSLT-Skripten noch nicht beachtet werden. Solche Phänomene bzw. Probleme müssen entdeckt und behoben werden.
 +
* Die Daten müssen am Ende nach TEI valid sein. Die Fehlermeldungen in Oxygen helfen, verschiedene Phänomene bzw. Probleme zu entdecken. Wenn sie vorkommen, dann müssen die XSLT-Skripte angepasst oder neue zusätzliche geschrieben werden.
  
 
= Datenanreicherung =
 
= Datenanreicherung =
−
(wie kriegen wir die )
+
Die XML-TEI-Daten liegen in [https://git.uni-wuppertal.de/dhsfu/consilium-communis/-/tree/main/data/ CC-GitLab-Repository] in entsprechenden Band-Ordnern

Aktuelle Version vom 7. April 2025, 09:42 Uhr

Worum geht es: Wir kommen wir von einem transkribus-Export zu den finalen TEI-Daten?

Kontrolle

(wie stellen wir sicher, dass ein Band Exportreif ist? Was ist zu prüfen?)

Die ersten 3 Punkte (Vollständigkeit der Transkription, richtige Erfassung der Textregionen & Zeilen und Markierung der Sitzungs- und Eintragsstruktur) sollten vor einem ersten Export überprüft und korrigiert werden. Im Anschluss kann das Transkribus-Dokument exportiert und transformiert werden. Anhand des XML-Dokuments wird auch ein Kontrollbericht erstellt, der bei der weiteren Fehlersuche hilft.

Vollständigkeit der Transkription

  • Transkription augenscheinlich vollständig und "gut"?
  • Fragezeichen im Text, die noch zu klären sind? Können die noch gelöst werden? (ggf. Markierung als `unclear`)
  • Suche nach tag "unclear" um Unklarheiten in der Transkription direkt zu finden (Suche dabei auf Dokument beschränken)
  • Überflüssiges gelöscht?
    • erstes Wort der nächsten Seite steht oft am unteren Seitenrand -> Zeile löschen, falls transkribiert!
    • Nachträglich eingefügte Seitenzahlen müssen nicht transkribiert werden.

Erfassung der Textregionen & Zeilen

  • Titel und Überschriften(heading)
    • Sitzungsnummer Teil des Titels, da sie sich auf die ganze Sitzung bezieht (Bsp. in Band 40)
  • Marginalien (marginalia)
    • vor den Eintrag auf den sie sich beziehen, wenn sie als Überschrift/Kurzzusammenfassung fungieren
  • Absätze (paragraph, ggf. paragraph-continued)
  • Wenn eine Zeile nicht durch Export und Transformation kommt, dann fehlt vermutlich das Baseline-Element in Transkribus. Das Line-Element, das in Transkribus als Kasten/geschlossenes Polygon eine Zeile umfasst, reicht nicht.

Markierung der Sitzungs- und Eintragsstruktur

  • Zuständige Person/en aus der Tabelle übernommen?
  • Am Anfang einer Sitzung (type=session)
  • Am Anfang eines Eintrags (type=entry nicht zwingend notwendig, ohne type wird der Abschnitt in der XSLT-Transformationen als entry erkannt)
  • Am Anfang des Sitzungsabschlusses (type=closer)

Textauszeichnung

  • Alle Personen, Orte, Berufe und Institutionen ausgezeichnet?
    • Keys vergeben?
    • Suche nach Registertags (person, place, organization, occupation) und Ergebnis nach Eigenschaften sortieren (Suche dabei auf Dokument beschränken)
  • Alle Textphänomene ausgezeichnet?
    • durchgestrichen
    • unterstrichen
    • fett
    • hochgestellt
    • tiefgestellt
    • Abkürzungen

Transkribus-Export und Transformation

Transkribus

Oben links auf das "Export Document"-Icon klicken (gelber Ordner mit grünem Pfeil nach rechts). In dem sich dann öffnenden Fenster oben links von "Server export" auf "Client export" wechseln.

Über "Client export" exportiert man es im "Transkribus Document" Format und bei "Export page" wählt man nur "Export Page" aus:

Transkribus Export

Beim Client-Export entsteht standardmäßig ein Ordner mit dem Dokumentnamen (B_01_01-[Bandnummer]). Beim Export als "Transkribus Document" befindet sich in diesem Ordner ein Unterordner, der gleichfalls nach dem Dokumentnamen benannt ist. Darin sind die Daten enthalten ("mets.xml", "metadata.xml" und der Unterordner "page" mit XML-Dateien (eine pro Dokumentseite).

Transformation

Es gibt zwei Möglichkeiten die Transkribusexporte zu transformieren. Dazu befinden sich im GitLab-Repo consilium-communis/scripts zwei XProc-Skripte und mehrere XSLT-Skripte.

  • "Transkribus2TEI.xpl" kann auf auf das "mets.xml" eines Transkribusexports angewendet werden, um die TEI-XML-kodierte Transkription des entsprechenden Bandes (Band_##.xml) und einen Kontrollbericht (Band_##_report.html) zu erzeugen.
  • "Transkribus2TEI_all.xpl" kann mehrere Transkribusexporte in einem Durchgang verarbeiten. Dazu muss in dem Skript die Variable "data_directory" den Pfad zum Verzeichnis mit den Transkribusexporten enthalten.

Ordnerstrkutur eines Band mit Input und Output

  • B_01_01-##
    • B_01_01-##
      • mets.xml
      • metadata.xml
      • page
        • B_01_01-##-0001.xml
        • B_01_01-##-0002.xml
        • etc.
    • Band_##.xml
    • Band_##_report.html

Siehe auch das Daten-Repo.

Kuratierung des Exports

  • Die Tags in Transkribus (strukturelle und textuelle) müssen einheitlich verwendet werden!
  • Die bestimmten Kombinationen von Tags können zu unerwarteten Problemen führen (z. B. in Person-Tag wird einen Place-Tag verwendet, der über zwei Seiten hinausgeht o.ä.) Ähnlich sieht es mit neuen Tags aus, die in den Workflow vor kurzem eingeführt wurden, aber in XSLT-Skripten noch nicht beachtet werden. Solche Phänomene bzw. Probleme müssen entdeckt und behoben werden.
  • Die Daten müssen am Ende nach TEI valid sein. Die Fehlermeldungen in Oxygen helfen, verschiedene Phänomene bzw. Probleme zu entdecken. Wenn sie vorkommen, dann müssen die XSLT-Skripte angepasst oder neue zusätzliche geschrieben werden.

Datenanreicherung

Die XML-TEI-Daten liegen in CC-GitLab-Repository in entsprechenden Band-Ordnern

Abgerufen von „http://dh.uni-wuppertal.de/cc-wiki/cc-wiki/index.php?title=Exportworkflow&oldid=1022“