Institut für
Creative\Media/Technologies

Team

FH-Prof. Priv.-Doz. Dipl.-Ing. Mag. Dr. Matthias Zeppelzauer

  • Forschungsgruppenleiter
    Forschungsgruppe Media Computing
    Institut für Creative\Media/Technologies
  • Department Medien und Digitale Technologien
Arbeitsplatz: A - Campus-Platz 1
M: +43/676/847 228 652

Studiengänge

  • Creative Computing (BA)
  • Medientechnik (BA)
  • Data Science and Artificial Intelligence* (BA)
  • Data Intelligence (MA)

Departments

  • Informatik und Security
  • Medien und Digitale Technologien

Vision

"Ich betreibe menschenzentrierte Forschung im Bereich der künstlichen Intelligenz über die Grenzen von Disziplinen hinweg, um einen nachhaltigen Beitrag für das Gemeinwohl zu leisten.”

Matthias Zeppelzauer ist Professor für Computer Vision, Multimedia Retrieval und maschinelles Lernen mit einem speziellen Fokus auf Ansätze, die den Menschen in das Zentrum rücken. In seiner Forschung beschäftigt er sich mit der Entwicklung von Methoden zur Extraktion von semantisch bedeutsamen Informationen aus verschiedenen Medientypen wie visuellen und akustischen Daten, 3D-Daten, (medizinischen) Messdaten, textuellen Daten sowie multimodalen Daten aus beispielsweise den sozialen Medien. Querschnittsthemen in seiner Forschung sind interaktives maschinelles Lernen (Human-in-the-Loop Learning) und erklärbares maschinelles Lernen (explainable AI). Er ist an der TU Wien im Fach Informatik habilitiert (venia docendi) und ist Ko-Autor von mehr als 90 Publikationen.
Vollständige Publikationsliste

Forschungsinteressen

  • Menschenzentrierte und vertrauenswürdige KI
  • Computer Vision 
  • Inhaltsbasierte Audio-, Bild- und Video-Retrieval
  • Multimodales Lernen
  • Geräuschanalyse und -erkennung
  • Analyse sozialer Medien
  • Mustererkennung

Visual Heritage

Visual Analytics und Computer Vision treffen auf Kulturerbe.

TrustAI - Eine Plattform für interaktive und vertrauenswürdige künstliche Intelligenz

Erklärbare und vertrauenswürdige AI-Lösungen in einer einfach zu bedienenden Plattform.

EyeQTrack – Quantitative Blickerfassunganalytik für adaptives XR-Training und Rehabilitation im Gesundheitswesen

Eine adaptive eXtended-Reality-Umgebung für Trainings- und Therapiezwecke.

FAIRAI

Stärkung der österreichischen Innovationsfähigkeit und Forschung im Bereich Künstliche Intelligenz.

JHML -Kooperative Datenexploration durch Mensch und Maschine

Kombination von Maschinellem Lernen mit Visualisierungsmethoden für die explorative Datenanalyse.

AniVision

Animation in Gebrauchsfilmen aus Österreich, Ost- und Westdeutschland zwischen 1945 und 1989. Filmanalyse unter Zuhilfenahme von automatisierten Methoden aus der Computer Vision.

deepForce - Zeiteffiziente Bestimmung der Kniekontaktkräfte in der klinischen Ganganalyse mit Hilfe von Machine und Deep Learning

Nutzt Deep Learning, um komplexe muskuloskelettale Simulationen in der Ganganalyse Kliniker*innen auf einfache und schnelle Art und Weise zugänglich zu machen?

CounterSpeech - Young People Against Online Hate

Computergestützte Strategien zur Unterstützung von Gegenrede in sozialen Medien

IMREA - Intelligente Multimodale Immobilienanalyse

Multimodale Informationsextraktions- und maschineller Lernverfahren zur Extraktion immobilienbezogener Attribute und Parameter aus heterogenen Eingabedaten

BIMCheck – Intelligenter automatisierter Soll-Ist Abgleich zur Kontrolle in der Bauwirtschaft

Moderne Sensortechnik und Bildverarbeitungsmethoden um Änderungen auf Baustellen nachzuverfolgen und zu dokumentieren.

FIVE - #Fitspiration Image VErification

Proof of Concept eines fächerübergreifenden Online-Kurses für den bewussten Umgang von Jugendlichen mit Social Media.

QUAKE-iP – Qualitätskontrolle und Evaluierung in der Produktion

Implementierung eines Sensorsystems mit maschineller Bildverarbeitung um die Qualität von Werkstücken zu prüfen.

HIPstar

Evaluierung der Genauigkeit verschiedener nicht-invasiver Methoden zur Bestimmung des Hüftgelenkszentrums für die klinische Ganganalyse bei übergewichtigen Kindern und Jugendlichen

Plant Monitoring AI

Maschinelles Lernen und automatische Vorhersagemodelle zur Früherkennung von Pflanzenstress für eine höhere Nachhaltigkeit in der Landwirtschaft

IntelliGait 3D - Gait Data Mining

Entwicklung von Algorithmen zur Modellierung, Klassifizierung und Nutzbarmachung von großen Datenbanken für die medizinische Entscheidungsfindung in der klinischen 3D Ganganalyse Praxis

Scribe ID AI

Automatische Schreiber-Erkennung in Manuskripten aus dem 12. Jahrhundert durch Anwendung Künstlicher Intelligenz

ReMoCap-Lab

„Laboratory for Capturing Motion and Augmenting Environment in Motor Rehabilitation“ zur Ermöglichung von innovativen Projekten und Spitzenforschung in Österreich

QuickSpeech - Automatic Question and Answer Generation

Automatische Generierung von Fragen und dazugehörigen Antworten für eine App, die von Firmen für Trainingszwecke genutzt werden kann.

SAiEX - Safe Artificial Intelligence with integrated explainable integrity level

Erforschung von Methoden, die Entscheidungen von künstlicher Intelligenz besser nachvollziehbar machen

Trading Cultures

Eine Ethnographie von Handelsmessen für TV, Musik und Bücher.

Big-Data Analytics

Erforschung von Methoden der Auswertung großer Datenmengen unter strenger Wahrung von Datenschutz-Anforderungen

Data Science Bootcamp

Weiterbildung von unternehmensinternen Expert*innen zu Data Scientists die in der Lage sind abzuwägen, wie Verfahren der künstlichen Intelligenz am besten eingesetzt werden

WiKant-Wissensbasierte Kantteilfertigung

Fertigungsoptimierung in der Kantteilproduktion durch Automatisierung der Prozesskette

ImmBild - Lagebewertung durch Bildanalyse

Die Lage ist der wichtigste Parameter für die Bestimmung des Wertes einer Immobilie. Im Projekt ImmBild wird der Wert einer Immobilie mit Hilfe von Computer Vision aus dem Satellitenbild berechnet.

SoniControl 2.0 - die erste Ultraschall Firewall

Weiterentwicklung der SoniControl App, die unerwünschtes Tracking von Mobiltelefonen im Ultraschallbereich erkennt und blockiert.

SAMBA - Smart Data for Music Business Administration

Das Projekt erforscht, wie Daten aus Sozialen Medien bestmöglich für die Musikindustrie genutzt werden können.

360 AI

Entwicklung einer Methode zur effizienten Objekterkennung in 360°- Bildern

InfraBase - Automatische Gebäudesegmentierung

Im Projekt werden Satellitenbilder automatisch analysiert. Die Dachfläche wird dabei genau erkannt und in ein Polygon umgewandelt.

IntelliGait - Intelligente Ganganalyse

Intelligente Gangmusteranalyse für die robuste Erkennung von Gangstörungen: Entwicklung automatisierter Methoden, die Daten aus der klinisch instrumentierten Ganganalyse analysieren und nach möglic...

Object Recognition for Indoor Navigation

Objekterkennung für autonome Indoorortung und Navigation

SoniTalk- ein offenes Protokoll für Data-over-Sound

Die Vernetzung unserer Geräte nimmt stetig zu. SoniTalk ermöglicht Datenaustausch über Ultraschallsignale zwischen Mikrofon und Lautsprecher und gibt UserInnen die volle Kontrolle darüber, was von...

ImmoAge - Visuelle Altersbestimmung von Immobilien

Baujahr bzw. Bauperiode und regionale Bauweisen von Einfamilienhäusern sind essentiell für die Bewertung von Immobilien. Mit Hilfe von Bilderkennungsverfahren sollen diese nun automatisiert analysie...

Josef Ressel Zentrum: Horizonte der personalisierten Musiktherapie 1

Im Rahmen einer Forschungskooperation mit dem Josef Ressel Zentrum Krems für Grundlegung einer personalisierten Musiktherapie beschäftigt sich die Media Computing Gruppe des Institut für Creative\M...

SoniControl – Ungewolltes Audiotracking aufspüren

Das Projekt SoniControl entwickelt eine mobile Anwendung, die akustische Trackinginformationen von Mobiltelefonen aufspürt und auf Wunsch blockiert.

Pitoti 3D

In vielen europäischen Ländern existieren Zeugnisse von prähistorischen Kulturen in Form von Felsenkunst.

Digitale interaktive Schaufensteranwendungen

Konzepterstellung zur gestengesteuerten Produktpräsenation am Point-of-Sale

Deep Tagging - Automatische Bildverschlagwortung mit Deep Learning

Ausgewählte Publikationen

Bibtex für alle Ergebnisse downloaden
Matt, M., Zeppelzauer, M., & Waldner, M. (2024). cVIL: Class-Centric Visual Interactive Labeling. Proceedings of the 15th International EuroVis Workshop on Visual Analytics (EuroVA). 15th International EuroVis Workshop on Visual Analytics (EuroVA), Odense, Denmark. http://arxiv.org/abs/2405.08150
Baumhauer, T., Schöttele, P., & Zeppelzauer, M. (2022). Machine Unlearning: Linear Filtration for Logit-based Classifiers. Journal on Machine Learning, 111(1), 3203–3226. https://doi.org/10.1007/s10994-022-06178-9
Slijepcevic, D., Horst, F., Lapuschkin, S., Horsak, B., Raberger, A.-M., Kranzl, A., Samek, W., Breitender, C., Schöllhorn, W., & Zeppelzauer, M. (2022). Explaining Machine Learning Models for Clinical Gait Analysis. ACM Transactions on Computing for Healthcare, 3(2), 14:1-14:27. https://doi.org/10.1145/3474121
Beckmann, Rafael, Blaga, C., El-Assady, M., Zeppelzauer, M., & Bernard, J. (2022). Interactive Visual Explanation of Incremental Data Labeling. EuroVis Workshop on Visual Analytics (EuroVA), 6. https://doi.org/10.2312/eurova.20221073
Baumhauer, T., Slijepcevic, D., & Zeppelzauer, M. (2022). Bounded logit attention: Learning to explain image classifiers. NeurIPS 2022 Workshop: All Things Attention: Bridging Different Perspectives on Attention, New Orleans, USA. https://arxiv.org/pdf/2105.14824
Slijepčević, D., Henzl, M., Klausner, L. D., Dam, T., Kieseberg, P., & Zeppelzauer, M. (2021). k‑Anonymity in Practice: How Generalisation and Suppression Affect Machine Learning Classifiers. Computers & Security, 111, 19. https://doi.org/10.1016/j.cose.2021.102488
Zielinski, B., Lipinski, M., Juda, M., Zeppelzauer, Matthias, & Dlotko, Pawel. (2021). Persistence Codebooks for Topological Data Analysis. Journal of Artificial Intelligence Review, 54, 1969–2009. https://doi.org/https://doi.org/10.1007/s10462-020-09897-4
Bernard, Jürgen, Hutter, M., Sedlmair, M., Zeppelzauer, Matthias, & Munzner, Tamara. (2021). A Taxonomy of Property Measures to Unify Active Learning and Human-centered Approaches to Data Labeling. ACM Transactions on Interactive Intelligent Systems (TiiS), 11(3–4), 1–42. https://doi.org/10/gnt2wf
Bernard, J., Hutter, M., Zeppelzauer, M., Sedlmair, M., & Munzner, T. (2021). ProSeCo: Visual analysis of class separation measures and dataset characteristics. Computers & Graphics, 96, 48–60. https://doi.org/https://doi.org/10.1016/j.cag.2021.03.004
Kirchknopf, A., Slijepcevic, D., & Zeppelzauer, M. (2021). Multimodal Detection of Information Disorder from Social Media. International Conference on Content-Based Multimedia Indexing (CBMI), 4. https://doi.org/10/gmxnm5
Horsak, B., Slijepcevic, D., Raberger, A.-M., Schwab, C., Worisch, M., & Zeppelzauer, M. (2020). GaitRec, a large-scale ground reaction force dataset of healthy and impaired gait. Scientific Data, 7:143(1), 1–8. https://doi.org/10/gh372d
Bernard, Jürgen, Hutter, M., Sedlmair, M., Zeppelzauer, Matthias, & Munzner, Tamara. (2019). A taxonomy of property measures to support the explainability of the interactive data labeling process. ACM Transactions on Interactive Intelligent Systems (TiiS), Submitted.
Zielinski, B., Lipinski, Michal, Juda, M., Zeppelzauer, M., & Dlotko, Pawel. (2019). Persistence Bag-of-Words for Topological Data Analysis. Proceedings of the International Joint Conference on Artificial Intelligence 2019, 6. https://doi.org/10/ghpp7z
Zeppelzauer, M., Despotovic, M., Sakeena, M., Koch, D., & Döller, M. (2018). Automatic Prediction of Building Age from Photographs. Proceedings of the ACM International Conference on Multimedia Retrieval (ICMR "18), 126–134. https://doi.org/10/ghpp2k
Bernard, J., Zeppelzauer, M., Lehmann, M., Müller, M., & Sedlmair, M. (2018). Towards User-Centered Active Learning Algorithms. Computer Graphics Forum, 37, 121–132. https://doi.org/10/gdw79h
Wagner, M., Slijepcevic, D., Horsak, B., Rind, A., Zeppelzauer, M., & Aigner, W. (2018). KAVAGait: Knowledge-Assisted Visual Analytics for Clinical Gait Analysis. IEEE Transactions on Visualization and Computer Graphics (TVCG), 25(3), 1528–1542. https://doi.org/10/ghppzn
Slijepcevic, D., Zeppelzauer, M., Raberger, A.-M., Schwab, C., Schuller, M., Baca, A., Breiteneder, C., & Horsak, B. (2018). Automatic Classification of Functional Gait Disorders. IEEE Journal of Biomedical and Health Informatics, 5(22), 1653–1661. https://doi.org/10/ghz24w
Zeppelzauer, M., Zielinski, B., Juda, M., & Seidl, M. (2018). A Study on Topological Descriptors for the Analysis of 3D Surface Texture. Journal on Computer Vision and Image Understanding (CVIU), 167, 74–88. https://doi.org/10/ghpp2h
Bernard, J., Zeppelzauer, M., Sedlmair, M., & Aigner, W. (2018). VIAL – A Unified Process for Visual-Interactive Labeling. The Visual Computer, 34(1189), 16. https://doi.org/10/gd5hr3
Bernard, Jürgen, Hutter, M., Zeppelzauer, M., Fellner, D., & Sedlmair, M. (2017). Comparing Visual-Interactive Labeling with Active Learning: An Experimental Study. IEEE Transactions on Visualization and Computer Graphics (TVCG), 24(1). https://doi.org/10/gcqb3r
Zeppelzauer, M., & Schopfhauser, D. (2016). Multimodal classification of events in social media. Image and Vision Computing. https://doi.org/10/ghpp2q
Zaharieva, M., Del Fabro, M., & Zeppelzauer, M. (2015). Cross-Platform Social Event Detection. IEEE Multimedia, 22(3), 14. https://doi.org/10/gh3773
Salvador, A., Zeppelzauer, M., Manchón-Vizuente, D., Calafell, A., & Giró-i-Nieto, X. (2015, April 28). Cultural Event Recognition with Visual ConvNets and Temporal Models. Proceedings of the CVPR Workshop ChaLearn Looking at People 2015. Computer Vision and Pattern Recognition (CVPR), Boston, Massachusetts, United States. http://arxiv.org/abs/1504.06567
Zaharieva, M., Zeppelzauer, M., Del Fabro, M., & Schopfhauser, D. (2015, March 24). Social Event Mining in Large Photo Collections. Proceedings of the International Conference on Multimedia Retrieval. ACM International Conference on Multimedia Retrieval, Shanghai, China.
Stöger, A., Heimann, G., Zeppelzauer, M., Ganswindt, A., Hensman, S., & Charlton, B. (2012). Visualizing Sound Emission of Elephant Vocalizations: Evidence for Two Rumble Production Types. Plos One, 7(11:e48907). http://dx.plos.org/10.1371/journal.pone.0048907
Mitrović, D., Zeppelzauer, M., & Breiteneder, C. (2010). Features for Content-Based Audio Retrieval. In Advances in Computers (Vol. 78, pp. 71–150). Burlington: Academic Press. http://www.sciencedirect.com/science/article/pii/S0065245810780037

Publication Browser