Entrepôt OAI-PMH de Gallica et des expositions virtuelles (OAI-NUM)

Présentation

OAI-PMH (Open Archives Initiative - Protocol for Metadata Harvesting), est un « protocole de collecte de métadonnées de l'Initiative pour les Archives ouvertes ».

Le protocole OAI-PMH est un moyen d'échanger sur internet des métadonnées entre institutions, afin de multiplier les accès aux données des catalogues et bibliothèques numériques.

Son utilisation est libre, tout comme ses spécifications, qui sont documentées sur le site d'Open Archives Initiatives.
Le fonctionnement de base du protocole OAI-PMH repose sur une communication de client à serveur. Le client envoie des requêtes HTTP au serveur, le serveur répond par un flux de données au format XML.

Les entrepôts de la BnF

La BnF gère deux grands entrepôts où sont stockés l'ensemble des métadonnées relatives à ses documents.

Le premier entrepôt, appelé OAI-NUM, contient l’ensemble des notices des documents numériques dont la consultation est ouverte à tout public. Il donne en particulier accès aux notices des documents de Gallica, la bibliothèque numérique de la BnF, pour lesquels la BnF possède les fichiers numériques. La granularité de cet entrepôt est le document numérique « unitaire », tel que consulté dans Gallica : pour chaque document numérique consultable, identifié par un identifiant ark unique, on a un enregistrement (« record »).

L'interrogation de l'entrepôt OAI-NUM permet d’obtenir les métadonnées d’un document numérique dont l’identifiant ark a par exemple été trouvé dans Gallica.
Il est également possible d’obtenir une liste d’identifiants de documents appartenant à un ensemble prédéfini dans l’entrepôt (appelé « set » dans la terminologie OAI).

Le deuxième entrepôt, appelé OAI-CAT, a été créé pour améliorer le signalement des documents conservés dans les collections de la BnF et provenant des catalogues de la BnF, dont BnF Catalogue général. La granularité de cet entrepôt est la notice bibliographique (voir la page de documentation de l'entrepôt OAI-CAT).

Documentation

• Présentation générale du protocole OAI-PMH sur bnf.fr 
• Guide destiné aux institutions souhaitant référencer leurs documents numérisés dans Gallica en utilisant le protocole OAI-PMH [PDF]
• Site comportant la présentation complète du protocole OAI

Les formats de métadonnées utilisés

Les notices des entrepôts OAI-PMH de la BnF sont proposées dans trois formats de métadonnées :

• Dublin Core simple (oai_dc) : voir en bas de page pour plus de détails sur ce format et sur la fçon dont il est utilisé à la BnF.
• MPEG21-DIDL (didl) : utile en particulier pour la représentation de la granularité des objets numériques (fascicules de périodiques, légendes des photographies dans un album). À l’intérieur de la structure DIDL, le format choisi est le Dublin Core simple.
• TEL-Application profile (tel_ap) : il s’agit d’un profil d’application du Dublin Core spécifiquement développé dans le cadre du projet européen The European Library. En plus des éléments du Dublin Core simple, le TEL – Application profile utilise quelques éléments du Dublin Code qualifié (ex. <dcterms:issued>), de MODS (ex. <mods:location>), et quelques éléments spécifiques à TEL-AP pour préciser le lien aux ressources numérisées lorsque c’est pertinent (<tel:seeonline> vers la ressource numérisée, et <tel:fulltext> vers le texte OCRisé).

Les sets dans OAI-NUM

L'entrepôt OAI-NUM est regroupé en sets de notices, qui sont de trois types différents :

• Sets par type de documents (monographies, images, manuscrits, cartes et plans ... ),
• Sets par corpus thématiques (dossiers, Voyage en France, Voyages en Italie, Japon ... ),
• Sets par classes du système de classification Dewey.

Exemple :

gallica:typedoc correspond au type de document dans Gallica. Le set :

<setSpec>gallica:typedoc:monographies</setSpec>

renvoie donc aux monographies disponibles dans Gallica.

Interroger l'entrepôt : utiliser le formulaire d'aide

Il est possible d'accéder à un formulaire d'aide à la création de requête en accédant à cette page. 

Ce formulaire permet de construire des requêtes directement en complétant des champs.

Interroger l'entrepôt : rédiger des requêtes

Les requêtes sont à construire à partir de l'adresse suivante, à compléter par un verbe : 

http://oai.bnf.fr/oai2//OAIHandler?verb=

Il existe six requêtes et plusieurs paramètres :

• Identify : pour obtenir des informations sur l’entrepôt interrogé.
• ListIdentifiers : pour obtenir la liste des identifiants de notice de l’entrepôt. Il faut préciser des paramètres complémentaires, comme le format Dublin Core.
• ListMetadataFormats : pour obtenir la liste des formats présents dans l’entrepôt.
• ListSets : pour obtenir la liste des sets (ensembles prédéfinis) de l’entrepôt.
• ListRecords : pour obtenir la liste des enregistrements/notices de l’entrepôt. Il faut préciser le format attendu.
• GetRecord : pour obtenir un enregistrement/notice de l’entrepôt. Il faut préciser le format attendu et l’identifiant du document.

Les requêtes sont précédées de ?verb= et commencent par une majuscule.

Les paramètres sont introduits par « & » et commencent par une minuscule. Il y a des paramètres obligatoires et optionnels pour chaque requête.

Plus de précisions sur le langage d’interrogation

Exemples de requêtes

Les six requêtes de base

Identify

Ce verbe est utilisé pour récupérer des informations sur un entrepôt.

http://oai.bnf.fr/oai2//OAIHandler?verb=Identify

ListIdentifiers

Ce verbe est une forme abrégée de ListRecords (voir plus bas), et permet de récupérer les en-têtes (header) plutôt que les enregistrements (records) entiers.

http://oai.bnf.fr/oai2//OAIHandler?verb=ListIdentifiers&metadataPrefix=oai_dc

ListSets

Ce verbe est utilisé pour obtenir la liste des sets d'un entrepôt (utile pour ne récupérer que certains ensembles de notices).

http://oai.bnf.fr/oai2//OAIHandler?verb=ListSets

ListRecords

Ce verbe est utilisé pour obtenir les enregistrements d'un entrepôt. 
Attention, sans paramètre associé, il interroge l'ensemble de l'entrepôt.

http://oai.bnf.fr/oai2//OAIHandler?verb=ListRecords&metadataPrefix=oai_dc

ListMetadataFormats

Ce verbe est utilisé pour connaître les formats de métadonnées utilisés sur l'entrepôt.

http://oai.bnf.fr/oai2//OAIHandler?verb=ListMetadataFormats

GetRecord

Ce verbe est utilisé pour récupérer un enregistrement en particulier sur l'entrepôt.

http://oai.bnf.fr/oai2//OAIHandler?verb=GetRecord&identifier=oai:bnf.fr:gallica/ark:/12148/bpt6k254088g&metadataPrefix=oai_dc

Autres exemples de requêtes

Requête avec clé de reprise (resumption token)

On peut gérer la récupération de longues listes d'enregistrements  par paquets, avec Resumption token :

http://oai.bnf.fr/oai2/OAIHandler?resumptionToken=1%2168816%2124557098%212767325%21100%212826328%21oai_dc&verb=ListIdentifiers

Requêtes avec paramètres de date

Liste des enregistrements créés ou modifiés depuis le 15/10/2024 au format oai_dc :
http://oai.bnf.fr/oai2//OAIHandler?verb=ListRecords&from=2024-10-15&metadataPrefix=oai_dc

Liste des enregistrements créés ou modifiés depuis le 15/01/2016 appartenant au set thématique : "gallica:theme:9:94" au format oai_dc : http://oai.bnf.fr/oai2//OAIHandler?verb=ListRecords&from=2016-01-15&set=gallica:theme:9:94&metadataPrefix=oai_dc

Remarques complémentaires

• Les suppressions de notices dans un set ou dans l'entrepôt sont signalées par les identifiants, mais il n'y a pas de record associé.
• Le standard OAI-PMH ne permet pas d'exprimer de requête sur un critère bibliographique (titre, auteur, etc.).

Conditions d'utilisation

La BnF a, depuis le 1^er janvier 2014, placé ses métadonnées descriptives (données bibliographiques et d’autorité) sous la « Licence Ouverte /Open Licence » de l’État élaborée par la mission Etalab. L’utilisation de ces métadonnées est libre et gratuite sous réserve du maintien de la mention de leur source et de l’indication de leur date de récupération (voir https://www.bnf.fr/fr/conditions-de-reutilisations-des-donnees-de-la-bnf).

Dans les notices récupérées depuis les entrepôts OAI de la BnF, vous devez conserver :

• le numéro ARK contenu dans la balise <identifier> du header de chaque « record » (ex. : <identifier> oai:bnf.fr:gallica/ark:/12148/cb30000001q</identifier>) ;
• la date contenue dans la balise <responseDate> de chaque « record » (ex. : <responseDate>2013-12-19T13:59:03Z </responseDate>).