JSON CSV IIIF GT Détection d'objet Segmentation Manuscrits Images Intelligence artificielle (IA)

Échantillon segmenté d'enluminures de Mandragore

Dans le cadre d'expérimentations liées à la reconnaissance automatique d'images à partir d'enluminures de Mandragore, un petit corpus de 8 manuscrits a été segmenté manuellement afin de faire office d'échantillon d'apprentissage.

Mise à jour de Mandragore : une nouvelle version de l'application de consultation de Mandragore, mise en ligne en 2022, permet de visualiser les enluminures segmentées. Ce jeu de données (produit en 2019) y est directement intégré.

Contenu du jeu de données et contexte de production

Ce jeu de données est issu de la segmentation manuelle (zonage) des enluminures de huit manuscrits des collections de la BnF indexés dans Mandragore : Arabe 274, Français 76, Français 255, Français 1291, Français 2692, Grec 2736, Latin 757 et Smith-Lesouëf 68.

Pour chacun de ces manuscrits, la position et la dimension de chacune des enluminures a été déterminée par zonage rectangulaire à l'aide de l'outil VGG Image Annotator de l'Université d'Oxford.
Dans un second temps, la position et la dimension des éléments figuratifs composant ces enluminures*, indexés par des « descripteurs » dans Mandragore, ont été déterminés à l'intérieur des enluminures détourées.
Seuls certains des éléments d'indexation de Mandragore ont été zonés : les descripteurs abstraits, par exemple, ou non localisables sur l'image, n'ont pas été retenus pour la segmentation.
Dans la perspective d'un post-traitement automatique, les éléments d'indexation segmentés ont également fait l'objet d'un typage ad hoc : « objet », « scène », « personne », « notion », « lieu ».

* en raison du nombre d'enluminures à traiter, seuls 6 des 8 manuscrits segmentés ont fait également l'objet de cette indexation détaillée (Arabe 274, Français 76, Français 255, Français 1291, Français 2692 et Smith-Lesouëf 68).

Normes de segmentation d'image

La segmentation d'images dans VGG Image Annotator suit la norme du W3C, adaptée à la fois par SVG et IIIF.

Exemple d'un segment d'image de coordonnées x,y,width,height=125,15,120,140

Source : documentation IIIF

On exprime les coordonnées d'un segment d'images sous la forme x, y, width, height où x,y sont les coordonnées du coin supérieur gauche du segment par rapport au coin supérieur gauche de l'image d'origine, et width, height les dimensions du segment. Coordonnées et dimensions sont exprimées en pixels.

Pour la segmentation des enluminures, on a utilisé la reproduction de la page dans Gallica au format JPEG et en pleine résolution, telle qu'on peut l'obtenir en utilisant l'API IIIF Image.

Pour la segmentation des tags (occurrences des descripteurs), on a utilisé la reproduction de l'enluminure précédemment segmentée, obtenue en JPEG et en pleine résolution par l'API IIIF Image. Les coordonnées du tag sont donc relatives à celles de l'enluminure ; pour les utiliser en IIIF (par exemple), il est donc nécessaire de les rapporter à l'image complète en utilisant les coordonnées de l'enluminure. Ces coordonnées absolues sont fournies dans les sets de données enrichies et dans les fichiers d'annotation au format Mirador.

Formats proposés

Les résultats de cette opération de segmentation sont proposés sous trois formats différents, à choisir en fonction des projets de réappropriation :

Résultats bruts de la segmentation au format natif de VGG Image Annotator (JSON). Ces fichiers peuvent notamment être exploités dans le logiciel VIA, mais contiennent très peu de données de contextualisation.
Données complètes au format CSV, croisant les positions obtenues aux métadonnées de Mandragore (issues des dumps accessibles sur ce site)
Annotations IIIF au format natif du visualiseur Mirador (JSON). Ces données permettent une visualisation avancée des données dans un contexte IIIF. Pour plus de lisibilité, plusieurs fichiers d'annotation sont proposés (enluminures seules, descripteurs seuls, enluminures et descripteurs avec métadonnées essentielles ou complètes)

Résultats bruts au format VIA

Pour chaque enluminure, appelée par l'URL de l'API IIIF Images de Gallica (comprenant son identifiant ark qualifié et ses coordonnées), on enregistre

un seul attribut de fichier, correspondant à l'identifiant numérique de l'enluminure dans Mandragore (transformable en ark)
et une série de « régions » correspondant chacune à un tag (occurrence d'un descripteur), avec pour chacun :
- les coordonnées sur la reproduction de l'enluminure (déjà segmentée) du rectangle localisant le tag (x, y, width, height)
- le libellé principal et le type du tag (objet, scène, personne, notion, lieu)

Attention, tous les tags ne sont pas localisés (certains ne sont pas localisables) et certaines enluminures ne sont associées à aucune région (parce qu'elles ne sont indexées par aucun tag, ou seulement par des tags non localisables).

On fournit également un fichier de modèle d'attributs permettant de poursuivre la segmentation dans VGG Image Annotator (version utilisée : 2.0.5).

Données enrichies

Ces données sont fournies au format CSV (encodage UTF-8).

Le fichier Dictionnaire.txt détaille le libellé et le contenu de chaque champ.

On se reportera également à la présentation et au dictionnaire des données du dump Mandragore.

Annotations Mirador

Pour chacun des manuscrits segmentés, on fournit quatre fichiers d'annotations Mirador (inspirés du formalisme IIIF*).

L'affichage de ces annotations a été testée dans l'instance de Mirador développée en 2018 par la BnF pour le projet « Manuscrits médiévaux : France-Angleterre, 700-1200 », accessible à l'adresse : https://manuscrits-france-angleterre.org/view3if/ (voir le tableau ci-dessous)

MiradorAnnotations_Enluminures.json contient seulement les enluminures : leurs coordonnées affichables sur la page, une notice comprenant les métadonnées et le lien vers l'application web Mandragore, et tous les tags de Mandragore (non localisés)
MiradorAnnotations_Descripteurs.json contient seulement les tags : leurs coordonnées affichables sur la page, une notice comprenant les métadonnées du descripteur de Mandragore, et toutes les formes rejetées de Mandragore
MiradorAnnotations_Mixed1.json, plus lisible, contient à la fois les enluminures (coordonnées et sujet) et leurs tags segmentés (coordonnées et libellé principal)
MiradorAnnotations_Mixed2.json, plus complet, contient à la fois les enluminures (coordonnées et notice Mandragore) et leurs tags segmentés (coordonnées et notice du descripteur dans Mandragore)

Pour les fichiers "Mixed", on utilise le formalisme SVG pour afficher le contour des enluminures et tags de couleurs différentes.

Les fichiers JSON, structurés selon le formalisme adapté des spécifications de l'API IIIF Présentation*, intègrent des identifiants non affichés par Mirador. On a choisi d'identifier chaque enluminure par l'URL actionnable de sa notice dans Mandragore et chaque tag par l'URL de la notice de l'enluminure complété d'un qualificatif de granularité fictif. Actuellement ce qualificatif n'est pas pris en charge par l'application Mandragore.

* L'API IIIF Présentation 2.1.1 prescrit d'établir un fichier d'annotation par canevas (par page), appelés dans le manifeste d'ensemble du document numérique. Le respecter strictement nécessite la mise en ligne d'un grand nombre de fichiers : on a préféré dans un premier temps le formalisme plus léger des fichiers d'annotation Mirador.

Résumé des fichiers fournis

Les fichiers peuvent être téléchargés comme archive, ou accédés directement sur la plateforme en ligne de la BnF (liens dans le volet Télécharger).

Fichiers d'ensemble (données enrichies)

Dictionnaire.txt : dictionnaire des données
Segments_Enluminures.csv : coordonnées des enluminures segmentées, avec les métadonnées issues de Mandragore
Segments_Tags.csv : coordonnées des tags (descripteurs repérés sur les enluminures des manuscrits segmentés), avec les métadonnées sur ces descripteurs issues de Mandragore
FormesRejeteesDescripteurs.csv : libellés alternatifs (synonymes) et traductions des descripteurs utilisés dans les manuscrits segmentés
Tags_Index.csv : correspondance entre les identifiants de chaque enluminure, de chaque descripteur (classe) et de chaque tag (occurrence du descripteur sur l'enluminure)

Fichiers JSON par manuscrit

On pourra utiliser l'icone Gallica () en dessous de chaque cote pour afficher la reproduction numérique dans Gallica (clic) ou dans un visualiseur IIIF (drag-and-drop). L'icone Mirador () permet d'ouvrir directement la reproduction numérique dans l'instance Mirador du projet « Manuscrits médiévaux : France-Angleterre, 700-1200 » (qui permet l'import de fichiers d'annotation locaux).

Mise à jour (2023) : Il est possible de cliquer sur les cotes pour afficher le manuscrit dans la nouvelle interface de Mandragore. Attention, des mises à jour peuvent avoir eu lieu par rapport au jeu de données initial.

Manuscrit

Données brutes (VIA)

Mirador Enluminures

Mirador Descripteurs

Mirador Mixed1

Mirador Mixed2

Arabe 274

Français 76

Français 225

Français 1291

Français 2692

Grec 2736

Enluminures seules

Enluminures

Latin 757

Enluminures seules

Enluminures

Smith-Lesouëf 68

Remerciements

La réalisation de ce jeu de données a été rendue possible par le travail de Christina Rammler lors d'un stage au département des Manuscrits de la BnF, réalisé en mars 2019 dans le cadre de sa formation de bibliothécaire à la Hochschule für den öffentlichen Dienst in Bayern.

Mise à jour (2022) : l'exploitation des données segmentées dans Mandragore

La nouvelle version du site web Mandragore, mis en ligne en 2022, utilise IIIF pour afficher et exploiter les données sur la segmentation des enluminures (lorsqu'elles existent).

En particulier, elle embarque une instance du visualiseur Mirador et produit, en plus de manifestes dédiés, un fichier d'annotation par page enluminée.

Exemple : Français 76

Liste des enluminures (unités de décor) dans l'interface de Mandragore
Notice d'une enluminure, avec les vignettes des descripteurs (mots-clés) dans l'interface de Mandragore : F. 4r, Edouard III et ses conseillers
Document numérique annoté dans le visualiseur Mirador de Mandragore
Manifeste IIIF du document numérique (pour Mandragore)
Liste d'annotations pour le f. 4r (image 17)

Aide

IIIF Format bibliographique

International Image Interoperability Framework (IIIF) est un protocole international visant à promouvoir l'interopérabilité dans la mise en ligne des documents numérisés, permettant notamment d'accéder aux contenus sans forcément utiliser les outils propres à chaque institution.

La BnF, qui est membre fondateur du consortium IIIF, implémente dans Gallica les API IIIF Images (version 1. et IIIF Presentation (version 2.0).

Pour en savoir plus sur IIIF :