Playstation 5: Sony arbeitet an AI-basiertem Upscaling

Playstation 5: Sony arbeitet an AI-basiertem Upscaling

EIN Sony Patent schlägt vor, dass die Japaner für die Playstation 5 Arbeiten an einer AI-basierten Hochskalierung. Die Idee dahinter ist, ein neuronales Netzwerk mit extrem hochauflösendem Referenzmaterial (Ground Truth) zu trainieren, damit der Grafikprozessor der Konsole niedrigere Auflösungen später auf etwa 4 KB extrapolieren kann. Das Ergebnis sind höhere Bildraten mit idealerweise sehr gut rekonstruierten Details.

Stellenmarkt

  1. DR. August Oetker Nahrungsmittel KG, Bielefeld
  2. Rundfunk Berlin-Brandenburg (rbb), Köln, Potsdam

Eine ähnliche Technologie gibt es seit anderthalb Jahren auf dem PC-Markt, nämlich Nvidias DLSS (Deep Learning Super Sampling). Der Prozess war zunächst nicht sehr überzeugend, aber der Algorithmus wurde seit DLSS 2.0 erheblich verbessert. In Spielen wie Prüfen, Todesstrandung, Minecraft RTX oder Wolfenstein Jungblut Die Bildqualität ist manchmal sogar besser als bei nativer Auflösung. Dies gilt insbesondere für Vegetation oder feine Strukturen in der Ferne.

DLSS 2.0 funktioniert nur mit Geforce RTX, da diese über Tensorkerne verfügen. Diese Funktionseinheiten sind auf Matrixmultiplikation spezialisiert und können sehr schnell Inferenzen durchführen, dh unter Verwendung eines bereits trainierten neuronalen Netzwerks. Dies verwendet normalerweise das INT8-Format, das auch die Grafikeinheiten der Chips auf Playstation 5 und Xbox Series X unterstützt.

Die GPUs basieren auf der RDNA2-Consumer-Architektur von AMD (R for Radeon), die INT8 daher mit einer Geschwindigkeit verarbeiten sollte, die mindestens der FP32-Geschwindigkeit entspricht. Anleihen der CDNA-Servertechnologie (C for Compute) können INT8 um den Faktor vier beschleunigen. In Kombination mit Raytracing wäre ein solches Verfahren nützlich, um die Bildrate zu erhöhen. Daher verwenden fast alle Nvidia RTX-Titel auch optional umschaltbares DLSS.

READ  Bildbearbeitung Luminar 3 kostenloser Download

Wie genau Sony AI-basiertes Upscaling implementieren wird, bleibt vorerst offen. Alles in allem Playstation 4 Pro Es gibt jedoch speziell entwickelte Schachbrett-Hardware mit dem Objekt-ID-Puffer, weshalb Sony auch Anpassungen für die Playstation 5 vornehmen könnte.

Microsoft hatte bereits 2018 eine KI-Hochskalierung mit der DirectML-Schnittstelle unter DirectX 12 mit Forza Horizon 3 gezeigt (ab 15:24) Wir erwarten grundlegende Unterstützung für solche Techniken auch mit der Xbox Series X, wie z. B. DirectML offiziell ist verfügbar.

Im Allgemeinen werden in den meisten Spielen verschiedene Effekte nicht mit voller Renderauflösung angezeigt. Die Schärfentiefe oder SSAO wird häufig mit einer halben oder viertel Auflösung berechnet.

Aktivieren Sie Javascript.
Oder benutze das Pures Angebot von Golem

und lies Golem.de

  • ohne Werbung
  • mit deaktiviertem Javascript
  • mit RSS-Volltext-Feed

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert