Was macht diese Funktion, kurz gesagt?
Lip-Sync sorgt dafür, dass der Mund des Sprechers zur übersetzten Sprache passt, sodass dein Video natürlich und echt wirkt und du es sofort teilen kannst. Wenn Lip-Sync aktiviert ist, passt CHAMELAION die Mundbewegungen an den neu generierten Ton deiner geklonten Stimme an. Du konzentrierst dich auf die Botschaft, wir kümmern uns um die Optik 😉.
So funktioniert es, einfach erklärt
Wir verfolgen das Gesicht des Sprechers, lokalisieren den Mund und passen mithilfe unseres KI-Modells die Lippenbewegungen an die Wörter in der ausgewählten Sprache an. Im Hintergrund haben wir bereits die Quelle transkribiert, übersetzt und das neue Audio in deiner geklonten Stimme synthetisiert. Wenn Lip Sync aktiviert ist, passen wir die Lippen an dieses Audio an.
Token-Verbrauch und Tarife
Lip Sync ist ein optionales Add-on, das zusätzlich zur Basis-Videoubersetzung Token pro verarbeiteter Sekunde und pro Zielsprache verbraucht. Eine detaillierte Aufschlüsselung findest du auf unserer Preisseite. Keine Sorge, wir runden nicht wie ein Parkplatz 😉.
Um den richtigen Tarif für dein Volumen zu finden, öffne die Seite „Tarife” und probier den Rechner aus. Er berücksichtigt, ob Lip Sync aktiviert oder deaktiviert ist, und schlägt dir einen Tarif vor, der deinen Anforderungen am besten entspricht 👍.
So schaltest du es ein
Vor der Übersetzung
Nachdem du dein Video hochgeladen hast, check die Ausgangssprache und wähl die Zielsprache(n) aus.
Aktiviere die Option „Lip Sync“, bevor du auf „Übersetzen“ klickst. Du kannst diese Option auch deaktiviert lassen und später hinzufügen, wir empfehlen jedoch, sie für die erste Übersetzung deaktiviert zu lassen. Warum das so ist, erfährst du weiter unten 😉.
Im Synchronisationsstudio
Wenn du auf „Generieren“ klickst, kannst du in einem kleinen Fenster die Optionen für die Wiedergabe neu auswählen. Hier kannst du festlegen, ob „Hintergrundgeräusche“ enthalten sein sollen, und du kannst auch den Lip Sync für diese Wiedergabe ein- oder ausschalten.
Empfohlener Ablauf zum Sparen von Tokens
Übersetz beim ersten Durchgang in eine Sprache mit deaktivierter Lip Sync.
Öffne das Ergebnis im Dubbing Studio, spiel die Quelle und das Ziel ab und korrigiere zuerst alle Probleme im Transkript, zum Beispiel klassische Fehlinterpretationen wie „Haus” oder „Maus”, die zu „mouse” statt „house” führen könnten.
Passe bei Bedarf das Timing und das Tempo an und klick dann auf Generieren.
Aktiviere erst jetzt die Lip Sync und generiere erneut.
Dadurch vermeidest du, dass du Tokens für die Lippenausrichtung von Zeilen ausgibst, die du ohnehin ändern würdest. Wenn das Transkript falsch ist, ist auch die Übersetzung falsch, dann sagt die geklonte Stimme das falsche Wort und die Lip Sync ahmt die Mundform dieses falschen Wortes originalgetreu nach. Behebe dies zuerst und aktiviere dann die Lip Sync über das Dubbing Studio 😄.
Tipps für beste Ergebnisse
Nimm den Sprecher vor der Kamera auf; eine Frontalansicht liefert die genauesten Lippenbewegungen.
Fertig!
Das war's schon. Entscheide, wann du die Lippensynchronisation hinzufügen möchtest, korrigiere zuerst den Text und das Timing und synchronisiere dann, um ein makelloses, realistisch aussehendes Ergebnis zu erzielen.