AMIGO ist als interaktive Video-Lernplattform im Studienbereich Informatik an der Hochschule RheinMain entstanden. Unser Ziel ist eine effiziente Interaktion mit Lehrvideos, ähnlich wie mit Textdokumenten.
Der Clou ist AMIGOs automatische Bild- und Textanalyse: Der Dozent lädt einfach Video und Vortrags-Slides seiner Veranstaltung hoch, und AMIGOs Indexer ermitteln automatisch, wann z.B. welches Vortrags-Slide im Video auftaucht.
Der Schlüsselschritt in AMIGOs Indexierung ist ein bild-basiertes Matching: Wir extrahieren Bildmerkmale (sogenannte "regions of interest", oder ROIs) und finden Korrespondenzen zwischen den Frames des Videos und den Slides der Vorlesung. So ermitteln wir sekunden- und pixelgenau, wann und wo welches Slide im Video sichtbar ist. Mittels verschiedener statistischer Modelle und Tricks ist das Matching robust gegen Beleuchtungsunterschiede, partielle Verdeckungen, Bildrauschen und perspektivische Verzerrungen: Seine Genauigkeit beträgt ca. 95 Prozent (weitere Details findest Du in unserem Paper).
Gegeben eine PDF-Datei mit Vortrags-Slides, extrahiert AMIGO automatisch die enthaltenen Textdaten. So ermitteln wir jede Textbox und bestimmen per Projektion, wo sie im Video sichtbar ist. Diese Text-Extraktion funktioniert zuverlässig und ist (im Gegensatz zu einer optischen Buchstabenerkennung) unabhängig von Auflösung, Font und Bildrauschen. Wir identifizieren außerdem animierte Slides und ermitteln den genauen Zeitpunkt zu dem jede Textbox im Video erscheint. So führt Dich Deine Textsuche direkt zu der Stelle, an der Dein Schlagwort erklärt wird.
Mit Wikification werden wichtige Begriffe aus den Vortrags-Slides mit Links zu Wikipedia versehen. Möchtest Du mehr zu einem Begriff lernen (wer war z.B. Don Knuth?), klickst Du im Video einfach darauf und holst Dir zusätzliche Infos bei Wikipedia. AMIGO tut auch dies vollautomatisch: Ein Indexer detektiert interessante Schlagworte in den Slides und findet auch zu mehrdeutigen Begriffen (wie "Baum") den richtigen Artikel. Hierzu lernt AMIGO automatisch statistische Modelle von der Text- und Link-Struktur in Wikipedia.
Markus Eberts | Technische Projektleitung / Administration / Bildanalyse (Bachelor-Arbeit) / Framework-Entwicklung / Indexierung / Frontend-Entwicklung / Co-Betreuung von Abschlussarbeiten |
Anna-Lena Steines, Fabian Junkert, Max Roth | Software-Entwicklung |
Patrick Henrici | Wikification (Automatische Links zu Wikipedia, Bachelor-Arbeit) |
Alexander Haas | Textsuche / PDF-Analyse (Bachelor-Arbeit) |
Mario Sigel | ScreenOCR (Master-Arbeit) |
Denis Drescher | Demo-Video |
Marcus Michaely, Thorsten Knoll | Produktion von Video-Content / Tests |
Laboringenieure, insbesondere Daniel Kloos | Server-Administration / Deployment / LDAP+HTTPS-Anbindungen / Support |
Prof. Dr. Ulrich Schwanecke | Fachlicher Input zur Bildanalyse / Co-Betreuung von Bachelor-Arbeiten |
Prof. Dr. Adrian Ulges | Projektverantwortlicher |