In AI Letztes Updateated:
Teilen:
Cloudways bietet verwaltetes Cloud-Hosting für Unternehmen jeder Größe zum Hosten einer Website oder komplexer Webanwendungen.

Ihr One-Stop-Erklärer für Deepfakes und ihre einfache Erstellung mit Faceswap.

Artificial Intelligence ist das nicht mehr "künstlich". Diese Zeiten haben es uns Menschen gefährlich nahe gebracht.

It can suggest, write, create art, and now looks and talks like the living.

Dies ist eine der neuesten Entwicklungen in diesem Bereich, die wir nutzen sollten. Allerdings müssen wir uns auch davor hüten.

Was sind Deepfakes?

Das Wort Deepfake wird durch Kombination geprägt tiefe Lernen and fake. In simple terms, you can also assume this is expertly manipulated or deeply faked media.

Laut Wikipedia wird dies auch als synthetisches Medium bezeichnet, bei dem ein vorhandenes Bild, Audio oder Video so modifiziert wird, dass es jemand anderen vollständig darstellt.

Typischally, deepfakes make renowned personalities appear to say something they otherwise wouldn’t.

Basierend auf den Fähigkeiten seines Schöpfers kann es extrem schwierig sein zu sagen, ob es echt oder gefälscht ist.

Wie funktionieren Deepfakes?

Vereinfacht gesagt wird ein Teil des Originalvideos (z. B. ein Gesicht) durch eine ähnlich aussehende Fälschung ersetzt. In einem solchen Fall kann es auch als Faceswap bezeichnet werden, wie in diesem Fall „Obama“-Video.

Es ist jedoch nicht nur auf Video beschränkt, und wir haben auch Deepfakes-Bilder und -Audio (und wer weiß, in naher Zukunft Deepfake-VR-Avatare).

Die Arbeitsweise hinter solchen Tricks hängt in erster Linie von der Anwendung und dem zugrunde liegenden Algorithmus ab.

Wie aus diesem Grund Forschungsarbeit von Disney, gibt es verschiedene Techniken, darunter Encoder-Decoder, Generative Adversarial Networks (GANs), geometriebasierte Deepfakes usw.

Die folgenden Abschnitte sind jedoch hauptsächlich davon betroffen, wie es mit funktioniert Facewap. Dies ist eine kostenlose Open-Source-Deepfake-Software, die mehrere Algorithmen ermöglicht, um das erwartete Ergebnis zu erzielen.

Es gibt drei Haupt processes to generate deepfakes: extraction, training, and conversion.

# 1. Extrahierung

Hier geht es um das Auffinden und Herausfiltern des interessierenden Themengebietes aus Medienmustern, dem Original und dem für den Tausch.

Basierend auf den Hardwarefähigkeiten kann es viele Algorithmen geben, um sich für eine effiziente Erkennung zu entscheiden.

Beispielsweise bietet Faceswap einige verschiedene Optionen zum Extrahieren, Ausrichten und Maskieren basierend auf der CPU- oder GPU-Effizienz.

Die Extraktion identifiziert einfach das Gesicht im gesamten Video. Ausrichtungsflecken entscheidende Merkmale jedes Gesichts (Augen, Nase, Kinn usw.). Und schließlich blockiert das Maskieren andere Elemente des Bildes mit Ausnahme des Interessenbereichs.

The overall time taken for the output is important in selecting any option, as choosing resource-intensive algorithms on mediocre hardware can result in failure or a substantially long time to render acceptable results.

Neben der Hardware hängt die Wahl auch von Parametern ab, z. B. ob das Eingangsvideo unter Gesichtsbehinderungen wie Handbewegungen oder Brillen leidet.

A necessary element, in the end, is cleaning (explained later) the output, as the extractions will have a few false positives.

Ultimativately, the extraction is repeated for the original video and the fake (used for swapping).

# 2. Training

Dies ist das Herzstück der Erstellung von Deepfakes.

Bei der Ausbildung geht es um die neuronale Netzwerk, which consists of the encoder and decoder. Here, the algorithms are fed the extracted data to create a model for the conversion later.

The encoder converts the input into a vector representation to train the algorithm to recreate the faces back from vectors, as done by the decoder.

Afterward, the neural network evaluates its iterations and compares them with the original by assigning a loss score. This loss value falls over time as the algorithm keeps iterating, and you stop when the previews are acceptable.

Training is a time-consuming process, and the outputs generally improve based on the iterations it performs and the quality of input data.

For instance, Faceawap suggests a minimum of 500 images each, original and for swap. In addition, the images should differ significantly among themselves, covering all possible angles in unique lighting for the best recreation.

Owning to the training length, some applications (like Faceswap) allow one to stop the training midway or continue later.

Insbesondere hängt der Fotorealismus der Ausgabe auch von der Effizienz des Algorithmus und der Eingabe ab. Und man wird wieder durch die Hardware-Möglichkeiten eingeschränkt.

# 3. Umwandlung (Conversion)

This is the last chapter in the deepfake creation. The conversion algorithms need the source video, the trained model, and the source alignment file.

Anschließend kann man noch einige Optionen bezüglich Farbkorrektur, Maskentyp, gewünschtes Ausgabeformat etc. ändern.

Nachdem Sie diese wenigen Optionen konfiguriert haben, warten Sie einfach auf das endgültige Rendern.

Wie bereits erwähnt, arbeitet Faceswap mit vielen Algorithmen, und man kann zwischen ihnen spielen, um einen erträglichen Faceswap zu erhalten.

Ist das alles?

Nein!

Das war nur Face-Swapping, eine Teilmenge der Deepfake-Technologie. Face-Swapping, wie die wörtliche Bedeutung, ersetzt nur einen Teil des Gesichts, um eine schwache Vorstellung davon zu geben, was Deepfakes bewirken könnten.

Für einen glaubwürdigen Austausch müssen Sie möglicherweise auch das Audio (besser bekannt als Stimmklonen) und den gesamten Körper nachahmen, einschließlich allem, was in den Rahmen passt, wie folgt:

Also, was ist hier im Spiel?

What might have happened is that the deepfake author shot the video himself (as indicated in the last few seconds), lip-synced the dialogue with Morgan Freeman’s synthetic voice, and replaced his head.

Abschließend geht es nicht nur um Faceswap, sondern um den gesamten Frame, einschließlich des Audios.

Sie können auf YouTube unzählige Deepfakes finden, bis es beängstigend wird, wem Sie vertrauen können. Und alles, was es braucht, ist ein leistungsstarker Computer mit einem effizienten Grafikkarte zu beginnen.

However, perfection is hard to achieve, and it’s especially true with deepfakes.

For a convincing deepfake that can mislead or wow the audience takes skill and a few days to weeks of processing for a minute or two of a video.

Interessanterweise sind diese Algorithmen derzeit so leistungsfähig. Aber was die Zukunft bringt, einschließlich der Frage, wie effektiv diese Anwendungen auf Low-End-Hardware sein können, hat ganze Regierungen nervös gemacht.

Wir werden jedoch nicht auf die zukünftigen Auswirkungen eingehen. Lassen Sie uns stattdessen überprüfen, wie Sie es für wenig Spaß selbst machen können.

Erstellen von (einfachen) Deepfake-Videos

Sie können viele Anwendungen in dieser Liste von überprüfen Deepfake-Apps zum Erstellen von Memes.

Eines davon ist Faceswap, das wir verwenden werden.

Es gibt ein paar Dinge, die wir sicherstellen werden, bevor wir fortfahren. Zunächst sollten wir ein qualitativ hochwertiges Video des Ziels haben, das unterschiedliche Emotionen darstellt. Als Nächstes benötigen wir ein Quellvideo, um auf das Ziel zu wechseln.

In addition, close all the graphic card intensive applications like browsers or games before proceeding with Faceswap. This is especially true if you have less than 2 gigs of VRAM (video RAM).

Schritt 1: Gesichter extrahieren

The first step in this process is extracting the faces from the video. For this, we have to select the target video in the Eingangsrichtung und Liste ein Ausgaberichtung für die Auszüge.

Darüber hinaus gibt es einige Optionen, darunter Detektor, Aligner, Masker usw.; die Erklärungen für jeden finden Sie in den Faceawap-FAQs, und es wäre Verschwendung, die Informationen hier noch einmal aufzuwärmen.

It’s generally gut zu review the documentation for a better understanding and a decent output. However, there are helpful texts within Faceswap you can find by hovering over the specific option.

Put simply, there is no universal way, and one should start with the best algorithms and work their way down successfully to create a convincing deepfake.

Als Kontext habe ich Mtcnn (Detektor), Fan (Aligner) und Bisenet-Fp (Masker) verwendet, während alle anderen Optionen unverändert blieben.

Originally, I tried it with S3Fd (best detector) and a few other masks combined. However, my 2Gb Nvidia GeForce GTX 750Ti couldn’t bear the brunt, and the process failed repeatedly.

Finally, I toned down my expectations and the settings to see it through.

Besides selecting the appropriate detector, maskers, etc., there are a few more options in Einstellungen > Einstellungen konfigurieren die helfen, individuelle Einstellungen weiter zu optimieren, um der Hardware zu helfen.

Put simply, select the lowest possible Batch-Size, Input Size, and Output Size, and check LowMem, etc. These options aren’t available universally, and it’s based on a specific section. Additionally, the help texts further aid in selecting the best options.

Though this tool does an excellent job of extracting faces, the output frames can have much more than required to train (discussed later) the model. For instance, it will have all the faces (if the video has more than one) and some improper detections not having the target face at all.

Dies führt zur Bereinigung der Datensätze. Entweder kann man den Ausgabeordner überprüfen und sich selbst löschen oder die Faceswap-Sortierung nutzen, um Hilfe zu bekommen.

Mit dem oben genannten Tool werden verschiedene Gesichter nacheinander angeordnet, von wo aus Sie die erforderlichen in einem einzigen Ordner zusammenfassen und den Rest löschen können.

Zur Erinnerung: Sie sollten auch die Extraktion für das Quellvideo wiederholen.

Schritt 2: Das Modell trainieren

Das ist am längsten process in creating a deepfake. Here, Eingang A bezieht sich auf die Zielfläche, und Eingang B geht es um das Quellgesicht. Neben dem Modellricht Hier werden die Trainingsdateien gespeichert.

Hier ist die wichtigste Option Trainer:innen. Es gibt viele mit individuellen Skalierungsoptionen; Was jedoch für meine Hardware funktioniert hat, sind Dfl-H128- und Lightweight-Trainer mit den niedrigsten Konfigurationseinstellungen.

Next is the batch size. A higher batch size reduces the overall training time but consumes more VRAM. Iterations have no fixed effect on the output, and you should set a high enough value and stop the training once the previews are acceptable.

Es gibt ein paar weitere Einstellungen, darunter das Erstellen eines Zeitraffers mit voreingestellten Intervallen; Allerdings habe ich das Modell mit dem Nötigsten trainiert.

Schritt 3: Auf Original umstellen

This is the last feat in the deepfake creation.

This generally doesn’t take as much time, and you can play with many options to get the desired output quickly.

As indicated in the above image, these are a few options one needs to opt for to start the conversion.

Most options are already discussed, like the Input and Output directory, Model directory, etc. One crucial thing is the Alignments which refers to the alignment file (.fsa) of the target video. It gets created in the Input Directory during the extraction.

Das Feld Ausrichtungen kann leer gelassen werden, wenn diese bestimmte Datei nicht verschoben wurde. Andernfalls kann man die Datei auswählen und zu anderen Optionen übergehen. Denken Sie jedoch daran, die Alignment-Datei zu bereinigen, wenn Sie die Extraktionen zuvor bereinigt haben.

Dafür liegt dieses Mini-Tool in der Extras > Ausrichtungen.

Beginnen Sie mit der Auswahl von Gesichter entfernen der Job Wählen Sie im Abschnitt die ursprüngliche Alignment-Datei und den Ordner der gereinigten Zielflächen aus und klicken Sie auf Ausrichtungen unten rechts.

This will create a modified alignment file, matching the optimized faces folder. Please remember we need this for the target video, which we want to swap into.

A few more configurations include the color adjustment and mask type. Color adjustment dictates the mask blending, and you can try a few, check the preview, and select the optimal option.

Mask type is more important. This, again, depends on your expectations and the available hardware. Typically, you also need to consider the input video characteristics. For instance, Vgg-Klar funktioniert gut mit frontalen Gesichtern ohne Hindernisse, wohingegen Vgg-Behindert kann auch mit Hindernissen wie Handgesten, Brille usw. auskommen.

Als nächstes Schriftsteller bietet einige Auswahlmöglichkeiten basierend auf der gewünschten Ausgabe. Wählen Sie z. B. aus Ffmpeg für ein Video rendern.

Overall, the key to a successful deepfake is previewing a few outputs and optimizing according to the time availability and the hardware’s potency.

Anwendungen von Deepfake

Es gibt gute, schlechte und gefährliche Anwendungen von Deepfakes.

The good ones consist of recreating history lessons by the ones that were actually there for greater engagement.

In addition, they are being used by online learning platforms to generate videos from texts.

But one of the greatest beneficiaries will be the film industry. Here, it’ll be easy to picture the actual lead performing stunts, even when it will be the stuntperson risking their life. Additionally, making multi-lingual movies will be easier than ever.

Coming to the bad ones, unfortunately, there are many. The biggest deepfake application to date, as a matter of fact, 96% (as per this Deeptrace report), is in the porn industry to swap celebrity faces onto porn actors.

In addition, deepfakes are also weaponized against ‘standard’ non-celebrity women. Usually, such victims have hochwertige Fotos oder Videos auf ihren Social-Media-Profilen, für die sie verwendet werden Deepfakes-Betrug.

Eine weitere beängstigende Anwendung ist Vishing, auch bekannt als Voice-Phishing. In einem solchen Fall der CEO eines in Großbritannien ansässigen Unternehmens 243,000 $ überwiesen on the orders of the ‘CEO’ of its German parent company, only to later find out that it was actually a deepfake phone call.

Aber noch gefährlicher ist es, wenn Deepfakes Kriege provozieren oder zur Kapitulation auffordern. Bei einem jüngsten Versuch hat der ukrainische Präsident Wolodymyr Selenskyj, und forderte seine Streitkräfte und sein Volk auf, sich im andauernden Krieg zu ergeben. Die Wahrheit wurde diesmal jedoch durch das unterdurchschnittliche Video verraten.

Zusammenfassend lässt sich sagen, dass es viele Deepfake-Anwendungen gibt, und es fängt gerade erst an.

Das bringt uns zur Millionen-Dollar-Frage …

Ist Deepfakes legal?

Dies hängt maßgeblich von der örtlichen Verwaltung ab. Allerdings sind klar definierte Gesetze, einschließlich dessen, was zulässig ist und was nicht, noch abzuwarten.

Still, what’s obvious is it depends on what you’re using the deepfakes for—the intent. There is hardly any harm if you intend to entertain or educate anyone without upsetting the swapping target.

Andererseits sollten böswillige Anwendungen unabhängig von der Rechtsprechung strafbar sein. Eine weitere Grauzone sind Urheberrechtsverletzungen, die angemessen berücksichtigt werden müssen.

But to reiterate, you should check with your local government bodies about legal deepfake applications.

Pass auf!

Deepfkaes leverages artificial intelligence to make anyone say things.

Vertrauen Sie nichts, was Sie im Internet sehen, ist der erste Ratschlag, dem wir folgen sollten. Es gibt Tonnen von Fehlinformationen, und ihre Wirksamkeit nimmt nur zu.

And since it’s only going to be easier to create them, it’s time we learn wie man deepfakes erkennt.

Teilen:
  • Hitesh Sant
    Autor
    Hitesh arbeitet als leitender Autor bei Geekflare und beschäftigt sich mit Cybersicherheit, Produktivität, Spielen und Marketing. Darüber hinaus verfügt er über einen Masterabschluss in Verkehrstechnik. In seiner Freizeit spielt er hauptsächlich mit seinem Sohn, liest oder lügt …

Danke an unsere Sponsoren

Weitere großartige Lektüre zu KI

Treiben Sie Ihr Geschäft an

Einige der Tools und Services, die Ihrem Unternehmen helfen grow.