Lorsque le chercheur Mark Hamilton, doctorant au MIT, a visité l’exposition « Rembrandt-Velázquez », qui se tenait l’année dernière au Rijksmuseum d’Amsterdam, il a été surpris de voir que certaines œuvres d’art qui n’ont aucun lien sur le papier peuvent être étrangement similaires dans la réalité.

Les conservateurs de l’exposition avaient en effet associé Le Martyre de saint Sérapion, de Francisco de Zurbarán, un tableau religieux espagnol du XVIIe siècle, au Cygne menacé de Jan Asselijn, une toile hollandaise de la même époque. Bien que les deux artistes ne se soient jamais rencontrés de leur vivant, les deux œuvres présentent une nette ressemblance visuelle. De quoi faire réfléchir le chercheur sur les autres liens cachés qui pourraient être découverts dans l’histoire de l’art.

 

Source : MIT CSAIL

En compagnie de son équipe, ce dernier a conclu un partenariat avec Microsoft pour développer un nouvel algorithme qui pousse la technologie de récupération d’images encore plus loin, parcourant des millions d’œuvres d’art sur des milliers d’années pour trouver des parallèles inattendus entre les thèmes, les motifs et les styles visuels. Baptisé « MosAIc », le système fonctionne actuellement sur les bases de données d’œuvres du Metropolitan Museum of Art et du Rijksmuseum.

Des correspondances étonnantes

A partir d’une seule image, l’outil peut découvrir des liens dans la culture ou le média qui intéresse l’utilisateur, et livrer une liste d’œuvres d’art ayant des correspondances au regard de la requête originale. L’algorithme a ainsi été invité à se pencher sur le Banyan double face néerlandais, un vêtement anonyme de la fin du XVIIIe siècle, et a trouvé des similitudes avec une figurine chinoise en céramique. Le lien peut être établi avec le flux de porcelaine et d’iconographie des marchés chinois aux Pays-Bas entre le XVIe et le XXe siècle.

 

Source : MIT CSAIL

Pour développer MosAIc, l’équipe de recherche a utilisé un système de récupération d’images et l’algorithme bien connu des « voisins les plus proches » (KNN), qui est largement utilisé pour trouver des objets en fonction de leur similarité, pour la recommandation de produits par exemple.

Cependant, les systèmes de recherche d’images activés par l’algorithme KNN présentent généralement certaines limites. La portée d’une requête est en effet limitée : dans le cas des peintures, les utilisateurs ne peuvent demander que des œuvres similaires d’un artiste spécifique. Ils peuvent également lancer des requêtes dites « inconditionnelles » et filtrer progressivement les résultats jusqu’à ce qu’ils obtiennent une réponse précise au terme d’un processus long et coûteux.

Un système de récupération d’images efficace

Mark Hamilton et son équipe leur ont donc préféré un système de récupération conditionnelle d’images (CIR), qui délègue le filtrage à l’algorithme. Les chercheurs ont continué à utiliser l’algorithme KNN, mais l’ont rendu capable d’ajouter des « conditions », comme la texture, le contenu, la couleur ou la pose, pendant que le programme est en cours d’exécution, jusqu’à ce qu’il atteigne la correspondance la plus proche de la requête originale.

Ce processus, baptisé arbre KNN conditionnel, conduit à ce que l’algorithme regroupe des images similaires dans une structure arborescente, et à partir du tronc, applique de nouveaux filtres en remontant, en suivant la branche la plus prometteuse jusqu’à ce qu’il trouve l’image la plus précise.

« Restreindre un système de recherche d’images à des sous-ensembles particuliers d’images peut apporter de nouvelles idées sur les relations dans le monde visuel. Nous voulons encourager un nouveau niveau d’engagement avec les artefacts créatifs », explique Mark Hamilton lors de la présentation de cette innovation. Tout en reconnaissant que leur technologie ne bat pas encore de records de vitesse, l’équipe de chercheurs a fait observer que le CIR peut améliorer la diversité des résultats d’une manière simple et efficace.

Un potentiel à exploiter

Et la nouvelle technologie ne se limite pas aux requêtes sur les œuvres d’art. Hamilton et ses collègues prévoient un certain nombre d’applications pour le nouvel algorithme, notamment l’utilisation de MosAIc pour mieux étudier les deepfakes, et en particulier là où les deepfakes ont le plus de mal à modéliser la réalité. L’algorithme, tout en se frayant un chemin jusqu’au sommet de l’arbre pour trouver une image qui correspond le mieux à une image réelle, laisse en même temps derrière lui – sur ses branches – les images qui, selon lui, ne représentent pas l’entrée originale.

En retournant sur ces branches, les chercheurs ont pu visualiser quelles images sont des images truquées, ainsi que les conditions, ou filtres, qui ont convaincu l’algorithme de les laisser derrière lui – généralement, parce que les images truquées ne représentaient pas avec précision un certain élément de la réalité, comme un microphone ou un chapeau. Bien que parfois invisibles à l’œil humain, ces « points aveugles » sont ce qui distingue une image truquée sophistiquée d’une image authentique.

Mark Hamilton espère désormais que MosAIc sera utilisée dans de nombreux autres domaines allant des sciences sociales à la médecine. « Ces domaines sont riches d’informations qui n’ont jamais été traitées avec ces techniques et peuvent être une source d’inspiration importante pour les informaticiens et les experts du domaine », a fait savoir le chercheur.

Source : ZDNet.com

Posté dans Actualités Mots clés: ,
http://evanade.com/wp-content/uploads/2012/02/1328892384_internet_earth.png

UNE VISION

Promouvoir l’innovation technologique au service du développement des entreprises africaines en s'appuyant sur une large communauté d'experts en matière de NTIC.

http://evanade.com/wp-content/uploads/2012/02/1328892378_download_box_blue.png

DES PACKS INNOVANTS

Constitués à partir de références significatives et d'un ensemble de solutions et démarches "opérationnelles" adaptées à vos besoins (métiers et SI).

http://evanade.com/wp-content/uploads/2012/02/1328892395_at_email.png

REJOIGNEZ-NOUS

Face au développement d'activités nouvelles, il est indispensable de renforcer, chaque jour, notre politique de recrutement. Nos objectifs sont ambitieux et s'inscrivent dans la durée.