Parallèlement aux moteurs de recherche qui incluent de nouvelles fonctionnalités tels que les axes de navigation (ex: Exalead) et l'agrégation basique de résultats de textes, d'images et de vidéos (ex: AskX et Searchmash) avec des interfaces de plus en plus sexy, il existe des moteurs de recherche multimédia qui naissent jour après jour. En effet, depuis quelques mois nous assistons à une effervescence mais aussi à un véritable besoin sur la recherche de contenus multimédia. Ceci est dû au fait que nous (les "user generated content") produisons, utilisons et recherchons dorénavant sur ces derniers. Il n'y qu'à voir la popularité des sites de vidéos et de photos tels que Dailymotion, YouTube, vpod.tv ou Flickr qui l'atteste clairement. C'est un véritable défi parmi les plus passionnants à l'heure actuelle dans le domaine de la recherche. Internet contient des volumes de fichiers multimédia importants et surtout en constante évolution.

Ainsi des projets européens fleurissent en proposant/promettant de réaliser des moteurs de recherche dans les fichiers multimédias. Une prouesse technologique dans le sens où c'est tout notre univers numérique qui peut et pourra être recherchable. Les principaux moteurs de recherche ne permettent pas à ce jour de réaliser ce type de recherche. Au delà des expérimentations réalisées sur les recherches images comme Retrievr, on assiste réellement à un fiasco numérique et ce n'est pas pour me déplaire. Il n'y a donc plus de limites en terme de  technologies. Auparavant utilisées dans l'industrie, les reconnaissances de formes et vocales sont maintenant présentes sur internet. Cela repousse donc les limites actuelles qui à ce jour s'arrête à une recherche textuelle sur les textes présents sur nos sites internet. Ainsi de nouveaux moteurs de recherche voient le jour et sont au devant de la scène.

Les premiers se nomment Midomi et Nayio. A partir d'un simple micro vous pouvez rechercher dans un corpus musical (cela me rappelle un entretien que j'ai eu en septembre 2006 où j'évoquais cette idée !). La technologie de reconnaissance vocale de Midomi est une véritable innovation. En effet, baptisée MARS (Multimodal Adaptive Recognition System), elle permet d'analyser de nombreux paramètres sonores tels que la variation de tempo, la détection des pauses et respirations, ou l'intonation des voix. Tous les éléments sont  traités indépendamment ce qui permet une analyse plus fine sur ce que l'utilisateur souhaite trouver. Par exemple, MARS peut traiter les paroles de l'utilisateur si il chante, siffle ou fredonne une chanson.
Il serait certainement intéressant de mettre en place la recherche vocale sur les sites internet mais aussi sur des bornes dans les magasins tels que la FNAC ou Virgin Mégastore (Ouriel m'a devancé mais c'était bien sur les mêmes exemples que ceux sur lesquels je me suis appuyé). Qui n'a jamais rencontré des difficultés à trouver le nom de l'artiste ou le titre d'une chanson qu'ils découvrent par les médias ? Et pourquoi ne pas l'utiliser sur d'autres axes comme la commande vocale pour les voitures (GPS par exemple), les maisons (domotique), les téléphones portables... Enfin, à ce jour, 2 millions de titres sont répertoriés et peuvent être acheté.

Les trois autres, BlinkX, PodZinger et Pluggd,  proposent de rechercher en full text sur le contenu vidéo. Ils s'appuient sur le "SpeechToText" qui est une retranscription des données audio en texte. Ces moteurs sont particulièrement réservés à l'indexation de podcasts. Outre la recherche classique par termes, Pluggd se différencie des autres en permettant de se positionner à l'endroit de la vidéo où l'expression est dite (cela me rappelle aussi le fameux septembre 2006).

Polar Rose est moteur qui propose d'effectuer des recherches basées sur la reconnaissance faciale. Il est clair que le champ de recherche se limite pour l'instant aux photos afin de déceler des visages. En effet, pour le moment, la plupart des moteurs s'appuient sur la description (attribut alt), le nom du fichier et les textes qui sont autours des images (avec un calcul de distance). Mais ce n'est pas pour autant que les moteurs vous retournent des résultats pertinents. Les photos n'étant pas forcément bien renseignées, l'équipe de Polar Rose compte sur les utilisateurs (esprit communautaire on y est !) afin d'aider le moteur sur l'identification (base d'apprentissage).

Enfin, un consortium européen de neuf partenaires issus d'universités et d'entreprises (dont IBM) ont décidé de fédérer pour réaliser un moteur de recherche multimédia en P2P. Le projet se nomme SAPIR (Search on Audio-visual content using Peer-to-peer Information Retrieval). Son approche est différente contrairement aux moteurs de recherche classiques. En effet, son objectif est de créer un vaste réseau poste à poste, dans lequel chaque utilisateur représente un poste qui produira du contenu multimédia. Les fournisseurs de services joueront le rôle de postes supérieurs qui gèreront des index et offriront la recherche vocale et textuelle. SAPIR intégrera des technologies telles que la reconnaissance vocale, la reconnaissance de forme, la classification...

Avec ces nombreux projets, on peut s'attendre à de réelles innovations sur la recherche d'informations. Imaginez-vous qu'à l'aide de votre micro (et pourquoi pas à travers la pensée) vous recherchiez un sujet et que le moteur de recherche vous remonte dans une seule et même interface des résultats pertinents sur les textes, les vidéos et les fichiers musicaux présents dans votre univers numérique. On pourrait aussi s'attendre à ce que les reconnaissances de formes et vocales soient liées (VideoToText) afin de pouvoir par exemple, déceler dans un film les personnages et ce qu'ils se disent. Bref, seul l'avenir nous le dira. En attendant restez spectectateurs de ces nouvelles avancées car la compétition dans ce domaine sera rude. J'imagine que nous aurons de nombreux spectacles des plus passionnants.