Automatic Sports Video Summarization with Identity-Aware Highlight Selection

In the modern era, recorded video has grown dramatically, with sports broadcasts, streaming platforms, and social media generating far more footage than any viewer can watch in full. This explosion creates a need for automatic methods that can distill long recordings into concise, informative summaries tailored to different audiences. This thesis addresses the problem of automatically generating sports highlights that are both narratively meaningful and personalized to specific athletes, by combining advances in video summarization and face recognition within a unified framework. The first strand focuses on automatic sports highlight detection. In the challenging domain of martial-arts tricking, a motion-centric pipeline based on optical-flow descriptors, temporal smoothing and duration-aware selection is introduced, together with the MATDAT dataset and its evaluation protocol. This classical approach achieves very high frame-level accuracy when domain structure is well understood and annotations are scarce. To move beyond a single sport, the thesis then introduces SportCLIP, a text-guided, zero-shot framework that reframes highlight detection as cross-modal retrieval between video frames and short text descriptions of what counts as a highlight. Building on visionlanguage embeddings, SportCLIP can be prompted with new sports and event types without any additional training. It is evaluated on two new resources, the SportCLIP and Olympic Highlights datasets, showing that promptable, text-guided summarization can approach the performance of tailored motion models while remaining training-free, sport-agnostic, and easily adaptable to different user needs. The second strand studies face recognition under realistic broadcast conditions, where athletes appear at varying distances, under frequent occlusions, and often only for a few frames. To capture these challenges in a controlled way, the thesis introduces the UPM-GTI-Face dataset as a dedicated benchmark that explicitly factors distance and occlusion, together with an end-to-end recognition baseline tailored to this setting. Building on this resource, a comprehensive comparison between convolutional neural networks and vision transformers as backbone families is carried out, revealing how architectural choices, input resolution, and training strategies interact to determine robustness to degraded faces, long-range shots, and other nuisances common in sports footage but rarely isolated. The final strand integrates these components into a Personalized Video Summarization (PVS) system that produces identity-aware highlight reels. The system is modular: it can operate with either SportCLIP, a text-guided visionlanguage model, or QD-DETR, a Transformer-based query-driven detector, as interchangeable summarizers, and with either ArcFace (CNN-based) or TransFace (Transformer-based) as plug-and-play face-recognition backbones. Within this unified pipeline, highlight segments are first selected by the chosen summarizer and then assigned to the most likely athlete according to the selected recognition model. Experiments on the Olympic Highlights dataset show that this design can deliver high-quality, identity-aware sports summaries while exposing clear trade-offs between classical motion features, visionlanguage models, Transformer-based detectors, and competing face-recognition architectures. The thesis contributes new datasets, models, and evaluation protocols that clarify these trade-offs and provide a solid basis for future work on personalized sports video summarization. RESUMEN En la era actual, el volumen de vídeo registrado ha crecido de forma drástica, y las retransmisiones deportivas, las plataformas de streaming y las redes sociales generan mucho más material del que cualquier espectador puede ver. Esta explosión de contenido crea la necesidad de métodos automáticos capaces de condensar grabaciones largas en resúmenes concisos e informativos, adaptados a distintos públicos. Esta tesis aborda el problema de generar automáticamente resúmenes de jugadas destacadas que sean narrativamente significativos y personalizados a atletas concretos, combinando técnicas de resumen de vídeo y reconocimiento facial en un marco unificado. La primera línea de trabajo se centra en la detección automática de jugadas destacadas. En el exigente dominio del martial-arts tricking, se propone un enfoque clásico centrado en el movimiento, basado en descriptores de flujo óptico, suavizado temporal y selección sensible a la duración, junto con la base de datos MATDAT y su protocolo de evaluación. Este enfoque alcanza una precisión muy alta a nivel de fotograma cuando la estructura del dominio está bien caracterizada y las anotaciones son escasas. Para ir más allá de un único deporte, la tesis introduce SportCLIP, un marco guiado por texto y de tipo zero-shot que reformula la detección como recuperación multimodal entre fotogramas y breves descripciones de lo que se considera destacado. Basado en representaciones visiónlenguaje, SportCLIP puede emplearse con nuevos deportes y tipos de eventos sin entrenamiento adicional. Se evalúa sobre las bases de datos SportCLIP y Olympic Highlights, mostrando que un resumen guiado por texto puede aproximar el rendimiento de modelos de movimiento específicos, manteniéndose independiente del deporte y fácilmente adaptable a distintas necesidades. La segunda línea estudia el reconocimiento facial en condiciones realistas de emisión, donde los atletas aparecen a distintas distancias, bajo oclusiones frecuentes y, a menudo, solo durante unos pocos fotogramas. Para capturar estos retos de forma controlada, la tesis introduce la base de datos UPM-GTI-Face como banco de pruebas que factoriza distancia y oclusión, junto con un sistema de reconocimiento extremo a extremo adaptado a este escenario. A partir de este recurso se realiza una comparación exhaustiva entre redes neuronales convolucionales y Vision Transformer como familias de backbones, analizando cómo las decisiones arquitectónicas, la resolución de entrada y las estrategias de entrenamiento afectan a la robustez frente a rostros degradados, planos lejanos y otras dificultades típicas del vídeo deportivo. La última línea integra estos componentes en un sistema de Personalized Video Summarization (PVS) que genera resúmenes de jugadas con identificación de los atletas. El sistema es modular: puede operar con SportCLIP o con QD-DETR como resumidores intercambiables, y con ArcFace (basado en CNN) o TransFace (basado en Transformers) como backbones de reconocimiento facial. Dentro de este flujo de procesamiento unificado, los segmentos destacados se seleccionan con el resumidor elegido y después se asignan al atleta más probable según el modelo de reconocimiento. Los experimentos sobre Olympic Highlights muestran que este diseño produce resúmenes deportivos de alta calidad, con identificación explícita de los protagonistas, y pone de manifiesto los compromisos entre las distintas familias de modelos empleadas. La tesis aporta nuevas bases de datos, modelos y protocolos de evaluación que sirven de base para futuras investigaciones en resumen de vídeo deportivo personalizado.