Der Schlüsselschritt in AMIGOs Indexierung ist ein bild-basiertes Matching: Wir extrahieren Bildmerkmale (sogenannte "regions of interest", oder ROIs) und finden Korrespondenzen zwischen den Frames des Videos und den Slides der Vorlesung. So ermitteln wir sekunden- und pixelgenau, wann und wo welches Slide im Video sichtbar ist. Mittels verschiedener statistischer Modelle und Tricks ist das Matching robust gegen Beleuchtungsunterschiede, partielle Verdeckungen, Bildrauschen und perspektivische Verzerrungen: Seine Genauigkeit beträgt ca. 95 Prozent (weitere Details findest Du in unserem Paper).

Gegeben eine PDF-Datei mit Vortrags-Slides, extrahiert AMIGO automatisch die enthaltenen Textdaten. So ermitteln wir jede Textbox und bestimmen per Projektion, wo sie im Video sichtbar ist. Diese Text-Extraktion funktioniert zuverlässig und ist (im Gegensatz zu einer optischen Buchstabenerkennung) unabhängig von Auflösung, Font und Bildrauschen. Wir identifizieren außerdem animierte Slides und ermitteln den genauen Zeitpunkt zu dem jede Textbox im Video erscheint. So führt Dich Deine Textsuche direkt zu der Stelle, an der Dein Schlagwort erklärt wird.

Mit Wikification werden wichtige Begriffe aus den Vortrags-Slides mit Links zu Wikipedia versehen. Möchtest Du mehr zu einem Begriff lernen (wer war z.B. Don Knuth?), klickst Du im Video einfach darauf und holst Dir zusätzliche Infos bei Wikipedia. AMIGO tut auch dies vollautomatisch: Ein Indexer detektiert interessante Schlagworte in den Slides und findet auch zu mehrdeutigen Begriffen (wie "Baum") den richtigen Artikel. Hierzu lernt AMIGO automatisch statistische Modelle von der Text- und Link-Struktur in Wikipedia.