L’étude de l’artefact patrimonial est interrogée par un renouvellement de notre capacité à produire des masses d’observations, à croiser des jeux de données conséquents. Dans les sciences patrimoniales, où se substitue à une ambition d’explicitation de règles générales celle d’analyse objectivée d’histoires particulières, comment traduire ce plus en gain de sens ?
Si l’introduction de protocoles de capture et d’analyse de données fortement impactés par les technologies numériques constitue à l’évidence une forme de rupture méthodologique, sommes nous en situation de faire de cette rupture une opportunité? Le risque est grand d’aller vers une forme de collectionnite numérique produisant non pas de la compréhension mais de la dispersion, voire du chaos.

La question posée est donc : comment renforcer notre capacité à dégager une compréhension globale de l’objet observé (esprit de synthèse*) face à l’omniprésence d’instrumentations et de formalismes « numériques ». En réponse, Le projet vise à expérimenter et mettre en partage des démarches de caractérisation sémantique d’artefacts (du fragment archéologique à l’édifice), et de formalisation, à fins de reproductibilité, du raisonnement sur ces faits, et notamment les inférences du passage fait archéologique observé > fait architectural restitué.

Le projet SESAMES ne prétend pas apporter une réponse globale, mais tenter d’illustrer par la pratique, par une stratégie d’exemplification, comment mieux maîtriser les risques de dispersion* et de volatilité. Il combine trois priorités:

1. Mener un effort de caractérisation de faits bâtis multi-échelles, et dans trois dimensions (spatiale, sonore, ontologique).
2. Renouveler la façon dont nous pouvons faire un travail de mise en relation, de lecture comparative,
3. Expliciter et mettre en évidence des modalités de raisonnement (expérimentation sur le passage observé > restitué) pour inscrire la production d’extrants dans une logique de reproductibilité.

Le projet SESAMES propose une démarche originale combinant collecte et annotations d’empreintes sonores et de contenus 3D, visualisation et sonification (représentations basées sur la perception du rythme et de séquences sonores covariantes par changement d’échelle), formalisation d’inférences exemplifié dans le passage observé > restitué (i.e. passage indices et données > informations > interprétations > restitution) . Il doit se traduire par une série de protocoles et de développements exploratoires :

- Protocoles de captation (données spatiales, données visuelles, données sonores)
- Procédures de mise en corrélation (analyse infovis, sonification, restitution perceptive)
- Procédures d’annotation de la donnée 3D et d’analyse des situations d’échec en catégorisation
- S.I. dédié à la formalisation des inférences, déploiement web des données

A terme il doit déboucher sur un référentiel corpus + modèles + méthodes, i.e. des composants mis en partage par les partenaires du projet.

Des corpus : corpus 3D annoté, protocoles de captation spatiale et sonore explicités, motifs informationnels extraits à partir des protocoles de captation spatiale et sonore, corpus sonore, jeu de restitutions « raisonnées » (i.e. documentées au travers d’un modèle formel des activités mobilisées dans le passage observé > restitué).
Des modèles : ontologies de domaines, grille de caractérisation acoustique des empreintes sonores, grille de pertinences / performances comparées (infovis vs. sonification), modèle de description d’activités et de chaînes d’activités en lien avec le passage observé > restitué.
Des méthodes : environnement de production / traitement de la donnée 3D (scénarii d’application, bonnes pratiques et limites), mapping visuel / sonore de données et d’informations, SI Test « formalisation des inférences », intégration de données par des ontologies, catalogue d’empreintes sonores et formelles d’édifices, incluant leur protocole d’évaluation perceptive, décliné sous la forme de jeu sérieux.

Le projet se focalise sur quatre verrous méthodologiques et / ou technologiques :

- limites dans les méthodes actuelles de collecte et d’analyse de données spatiales et sonores sur le fait bâti : extension et analyse de performance d’une plateforme d’annotation 3D collaborative couplant approche par le haut (ontologies de domaine) et approche par le bas (annotations 3D non contraintes par un modèle théorique) ; élargissement des modalités de caractérisation du fait bâti à la dimension sonore (protocole de capture d’empreintes et analyse perceptive).
- limites des approches «normatives» en termes d’identification et de structuration de corpus dans le champ des sciences patrimoniales : test « aux limites », de la notion d’ontologie aujourd’hui prégnante en sciences de l’information, face aux réalités concrètes du bâti patrimonial.
- limites technologiques et méthodologiques des dispositifs d’assistance au raisonnement non verbal fondés sur le visuel (infovis, visual analytics) face à des indices spatio-historiques massifs, hétérogènes, entachés d’imperfections (Gershon, 2002) : analyse des complémentarités entre solutions pour la corrélation de données appuyées sur des modalités visuelles (Spence, 2006 ; Keim et al, 2011) et sur des modalités sonores (sonification de données multidimensionnelles).
- Constat de manque dans la façon dont on peut asseoir un travail d’interprétation de la donnée (notamment archéologique) à fins de restitution (3D ou non) et donc à inscrire la production d’une restitution dans une logique de verbalisation partageable des choix scientifiques : élicitation et formalisation des inférences mobilisées dans le processus de passage observé > restitué, exemplification sur un cas emblématique (abbaye de Marmoutier).