Das Max Planck Institut in Saarbrücken (Foto: imago/Becker & Bredel)

Bessere Lippensynchronisation durch künstliche Intelligenz

  19.08.2018 | 08:00 Uhr

Schlechte Lippensychronisierungen könnten dank neuer Technologie bald der Vergangenheit angehören. Forscher des Saarbrücker Max-Planck-Instituts (MPI) haben in Vancouver eine künstliche Intelligenz vorgestellt, die den Gesichtsausdruck von Schauspielern an eine synchronisierte Fassung anpassen kann.

Laut MPI kann die Arbeit "Deep Video Potraits" im Gegensatz zu früherer Technik das gesamte Gesicht einschließlich Augen, Augenbrauen und Kopfposition animieren. Außerdem ist das Programm bei Kopfbewegungen in der Lage den Hintergrund anzupassen. "Wir arbeiten mit modellbasierten 3D-Gesichtsaufnahmen, um die detaillierten Bewegungen des Synchronsprechers in einem Video aufzuzeichnen", erklärt Hyeongwoo Kim vom Max-Planck-Institut. "Das System überträgt diese Bewegungen auf den Ziel-Akteur im Film, um die Lippen und Gesichtsbewegungen exakt mit dem neuen Ton zu synchronisieren."

Software noch in der Testphase

Derzeit befindet sich die Arbeit noch im Proof-of-Concept Stadium und muss noch in der Praxis umgesetzt werden. Die Forscher gehen jedoch davon aus, dass ihr Ansatz Teile der visuellen Unterhaltungsindustrie verändern könnte, da der neue Forschungsansatz nicht nur in der Synchronisation eingesetzt werden könne. Die Software wurde bereits beispielsweise bei Video-Telekonferenzen getestet, um eine natürlichere Gesprächssituation zu erreichen.

Entwickelt wurde die Software unter der Leitung von Forschern des Saarbrücker Max-Planck-Instituts mit einem Team aus Forschern der University Barth, Technicolor, der Technischen Universität München und der Stanford University.

Artikel mit anderen teilen