Realtime Deepfakes für jedermann

Auf Github ist ein Deepfake-Projekt namens Avatarify aufgetaucht. Es basiert auf dem First Order Motion Model und wurde laut einem der Entwickler, Ali Aliev, in wenigen Stunden programmiert. Das Avatarify Projekt erlaubt es jedem mit genügen Rechenleistung, Deepfakes in Echtzeit laufen zu lassen.

Avatarify

Die Entwickler Ali Aliev und Karim Iskakov haben Echtzeit Deepfakes auf High-End Gaming Hardware möglicht gemacht. Das Projekt der beiden heisst Avatarify und verfügt über Vordefinierte Modelle von Steve Jobs, Elon Musk und mehr. Wer Besitzer einer NVIDIA GeForce GTX 1080 Ti ist, kann sich auf über 30 Bilder pro Sekunde freuen.

Zum ersten Mal ist das Projekt am 6. April 2020 auf Github erschienen. Avatarify erfreut sich grosser Beliebtheit. Ali Aliev hat sogar VICE Motherboard ein Interview gegeben.

Funktionsweise

Möglich macht dies das First Order Motion Model, welches als Basis für Avatarify dient. Das Modell lernt Bewegungen aus Videos und animiert schlussendlich nur noch ein Standbild. Aliev zeigt sich selbst erstaunt über sein Projekt: "I ran [the First Order Model] on my PC and was surprised by the result. What’s important, it worked fast enough to drive an avatar real-time."

Nach der Fertigstellung von Avatarify hat sich Aliev einen Spass erlaubt. In einem Video ist zu sehen, wie er sich in eine ZOOM Konferenz verbindet mit dem Elon Musk Avatar. Die anderen Teilnehmer sind sichtlich überrascht.

[arve url="https://www.youtube.com/watch?time_continue=1&v=lONuXGNqLO0&feature=emb_logo" align="center" /]

Aliev als Elon Musk in ZOOM. Quelle: https://youtu.be/lONuXGNqLO0

Herkunft der Deepfakes

Deepfakes sind noch gar nicht so alt. Erstmals bekannt wurden sie 2017 auf Reddit entdeckt. Das Subreddit /r/deepfakes wurde eröffnet. Der user /u/deepfakes hat einen post verfasst, in dem er einen Deep Learning Algorithmus vorstellt. Der Algorithmus konsumiert Bilder einer Person und lernt daraus. Anschliessend kann er die Bilder zu einem Video rendern, in dem die auf den Bildern zu sehende Person dargestellt wird. Das Subreddit existiert heute nicht mehr, da die ersten Deepfakes zum Grossteil Pornos waren. Die Gesichter wurden mit Deepfake Algorithmen mit solchen von Prominenten ausgetauscht.

Aufsehen erregten zahlreiche Deepfakes von Berühmheiten. Einer davon war Barrack Obama. In einem Video von 2018 bezeichnet er unter anderem Präsident Donald Trump als „total and complete dipshit“.

Neue Möglichkeiten

Die Videos bisher waren zu einem Grossteil vorgerendert. Bei diesem Vorgang wird als erstes der Algorithmus trainiert. Das passiert mit Bildern. Je mehr, desto genauer realistischer das Ergebnis. Anschliessend wird dem Algorithmus das Originalvideo gegeben. Nach Abschluss der Berechnungen wird das Deepfake Video ausgegeben. Je nach Algorithmus und Qualität des Deepfakes braucht das viel Rechenleistung.

Avatarify verfolgt einen anderen Ansatz. Anstatt das Video vorgängig zu rendern, geschieht dies in Echtzeit. Das geht sogar auf Consumer Hardware, die aber dennoch sehr Leistungsstark sein muss. Die einzige Voraussetzung ist eine CUDA-taugliche Grafikkarte. AMD entfällt also.

Limitationen

Das Projekt hat auch Einschränkungen. So ist das Modell nur 256 x 256 Pixel gross. Das ist ausreichend für Videokonferenzen. Für den Upload auf Videoplattformen nicht. Avatarify ist auch nicht besonders performant. Vor allem auf Systemen ohne Grafikkarte. Für ein MacBook Pro 2018 ohne Grafikkarte wird auf Github gerade einmal 1 Bild pro Sekunde angegeben.

Der grösste Schwachpunkt ist zurzeit die Stimme. Avatarify bietet keine Möglichkeit für Stimm-Deepfakes. Somit erscheint auf dem Bild Elon Musk, dabei ertönt aber die eigene Stimme. Damit ist der Deepfake schnell zu enttarnen.

(https://www.vice.com/en_us/article/neqb98/reddit-shuts-down-deepfakes)