Detection of an Image in a Video Sequence^*,, ^**

¹ LMV, Versailles St Quentin en Yvelines, France ;
e-mail: tamara.el-bouti@uvsq.fr
² CMAP, École polytechnique, France ;
e-mail: gwenael.mercier@cmap.polytechnique.fr
³ Laboratoire de Mathématiques de l’Université Paris-Sud, France ;
e-mail: caroline.obrecht@u-psud.fr
⁴ CREST/CEREMADE, Universié Paris Dauphine, France ;
e-mail: beppeben2030@gmail.com

Abstract

The purpose of this work is to discuss possible methods to retrieve a frame in a source video sequence starting from a given image query (for example, a screen shot of a movie scene). In order to do that, we develop and test different approaches that rely on SIFT local descriptors. First, we briefly recall the SIFT algorithm and propose a straightforward way to use it in order to find a few candidate frames which are similar to the query image. Then, we propose an improvement of this method by focusing on the moving regions to filter out the irrelevant features. Finally, we formulate a different way to detect the right candidate using a geometric approach that accounts for the relative position of the points of interest.

Résumé

Le but de ce travail est de discuter des méthodes pour retrouver un frame dans une séquence vidéo en partant d’une image requête (une photo tirée d’un film par exemple). Pour résoudre notre problème, on s’appuiera sur les descripteurs locaux SIFT. Dans un premier temps, nous présenterons brièvement SIFT et proposerons une manière directe de l’utiliser afin de trouver un certain nombre d’images candidates similaires à l’image requête. Dans un deuxième temps, on va améliorer cette méthode en se concentrant sur les régions de mouvement. Finalement, on va proposer une autre manière de détecter les bonnes images candidates en utilisant une approche géométrique qui prend en compte aussi la position des descripteurs locaux.