ShengShu Launches Vidu Q3 Reference-to-Video with Expanded Visual and Audio Capabilities

ShengShu führt Vidu Q3 Reference-to-Video mit erweiterten visuellen und Audio-Fähigkeiten ein

https://ift.tt/69gKYQD

Alibaba führt RMB 2 Milliarden Series B zur Unterstützung der Entwicklung eines allgemeinen Weltmodells an

SINGAPUR, 13. April 2026 /PRNewswire/ — ShengShu Technology, weltweit führend im multimodalen generativen KI-Bereich, kündigte heute den weltweiten Start von Vidu Q3 Reference-to-Video an, eine neue Modell-Funktionalität, die darauf ausgelegt ist, storytelling-orientierte Videoerstellung durch flexible referenzbasierte Generierung zu ermöglichen.

Built for storytelling, ermöglicht Vidu Q3 Reference-to-Video Schöpferinnen und Schöpfern, hochwertige Videos zu erzeugen, indem eine breite Palette von Eingaben referenziert und kombiniert wird – einschließlich Subjekten, Umgebungen, Kostümen, Requisiten und visuellen Stilen – innerhalb eines einzigen Arbeitsablaufs, was die kreative Kontrolle, Konsistenz und Effizienz deutlich verbessert.

Die Veröffentlichung erweitert die Fähigkeiten in visuellen Effekten, Audio und Szenen-Komposition. Sie unterstützt sechs Arten von cinematischen visuellen Effekten, darunter Partikelsysteme, Flüssigkeitssimulation, dynamische Bewegungen, Kamerabewegung, Übergänge und Beleuchtung, und ermöglicht so aussagekräftigere visuelle Ausgaben. Parallel dazu verbessert das Modell die Audio-Generierung mit fünf Kategorien von Klangfähigkeiten für natürlichere und ausdrucksstärkere Ergebnisse, einschließlich Umgebungsgeräuschen, bewegungsabhängiger Audioelemente, atmosphärischer Ebenen, Foley-Effekten und emotionsgetriebenen Hinweisen. Zusammen ermöglichen diese Verbesserungen eine größere Szenenvielfalt und dessen immersivere, produktionsreife Videoausgaben.

Anwendungsfälle umfassen Kurz-Form-Serien, Animation, Film und Fernsehen sowie Werbung und E-Commerce. Vidu Q3 Reference-to-Video ermöglicht eine schnellere Produktion hochwertiger Videoinhalte für Creator und Unternehmen. Dies zeigt sich auch in Drittanbieter-Benchmarks, in denen Vidu Q3 die No. 1 in der ersten globalen Reference-to-Video-Bestenliste von SuperCLUE belegte.

Auf Basis der Vidu Q3-Modellbasis ist Vidu vollständig in das Produkt-Ökosystem integriert, einschließlich Vidu Agent, Vidu Claw und der Vidu App. Dies schafft ein einheitliches System, das den gesamten Workflow von ideenaustausch und Content-Produktion bis hin zur Bereitstellung unterstützt und so Effizienz und Konsistenz über vielfältige Anwendungsfälle hinweg erhöht.

Die Veröffentlichung spiegelt ShengShus breitere Fortschritte bei der Weiterentwicklung der Weltmodell-Fähigkeiten in digitalen Umgebungen wider.

Parallel zur Produkteinführung gab ShengShu bekannt, dass es RMB 2 Milliarden in einer Series-B-Finanzierungsrunde aufgenommen hat, geleitet von Alibaba Cloud, mit Beteiligung von Andon Haitang, China Internet Investment Fund, TAL Education Group, Luminous Ventures und weiteren. Bestehende Investoren, darunter LINK-X CAPITAL, Delta Capital und Baidu Ventures, erhöhten ebenfalls ihre Investitionen.

Die Finanzierung wird ShengShus breitere Vision unterstützen, ein allgemeines Weltmodell zu entwickeln, das die digitale und die physische Welt verbindet. Das Unternehmen arbeitet sowohl am World Generation Model (WGM), das digitale Inhalte durch die Vidu-Modellfamilie erzeugt, als auch am World Action Model (WAM), das für Interaktionen in der physischen Welt ausgelegt ist. Zusammen sollen diese Systeme eine einheitliche Modellierung, Vorhersage und Aktion in Umgebungen ermöglichen.

ShengShu gehört zu den ersten globalen Unternehmen, das eine einheitliche Weltmodell-Architektur verfolgt, die digitale und physische Domänen verbindet. Im Zentrum dieses Systems steht sein Foundation World Model, das sowohl WGM als auch WAM zugrunde liegt.

In diesem Rahmen konzentriert sich die Vidu-Modellfamilie auf Inhaltserzeugung und Interaktion in digitalen Umgebungen. Sie unterstützt synchronisierte Audio-Video-Generierung, verlängerte Videolängen, starke zeitliche und räumliche Konsistenz sowie kinoreife visuelle Qualität. Ihre proprietäre referenzbasierte Video-Generierungslösung adressiert Konsistenzprobleme in der Produktion von Multi-Subject-Videos.

Zum Launch belegte Vidu Q3 global den ersten Platz in dem von Artificial Analysis veröffentlichten Benchmark. Es unterstützt bis zu 16 Sekunden synchronisierte Audio- und Video-Generierung, Multi-Shot-Komposition und Kamerasteuerung, Hintergrundmusik- und Sound-Effekt-Generierung sowie mehrsprachige Dialoge. Die Einführung von Reference-to-Video erweitert seine Fähigkeiten in visuellen Effekten, Audio und Anwendungs-Szenarien weiter.

Vidu steht globalen Entwicklern, Creators und Enterprises über MaaS (Vidu API-Plattform) und SaaS-Angebote zur Verfügung und ist in Alibaba Cloud Model Studio integriert, um Text-to-Video, Bild-to-Video und Reference-to-Video-Generierung in Branchen wie Internet, Werbung, Film und Animation, Bildung sowie Kultur- und Tourismus zu unterstützen.

Dr. Zhu Jun, Gründer von ShengShu Technology, sagte:
„Im Kern gibt ein Weltmodell der KI eine einheitliche Art, die reale Welt zu repräsentieren und vorherzusagen. Video spielt dabei eine entscheidende Rolle, da es Zeit, Raum, Bewegung und Kausalität natürlich erfasst. Indem wir eine einheitliche Modellarchitektur aufbauen, wollen wir Wahrnehmung und Handlung verbinden – einen vollständigen Kreislauf schaffen, vom Verstehen der Welt über deren Generierung bis hin zum Handeln in ihr und letztlich das Weltmodell zu einer echten Brücke zwischen digitalen und physischen Welten machen.“

HI-FI News

via https://ift.tt/jR2Ih76

13. April 2026, 15:10 Uhr

April 13, 2026 at 03:10PM