Durante la conferencia SIGGRAPH Asia llevada a cabo en Sydney del 12 al 15 de diciembre, Intel presentó ExtraSS, su nueva tecnología de extrapolación de fotogramas combinado con escalado espacial y temporal, que indudablemente llegará para competir con DLSS 3 de Nvidia y FSR3 de AMD.
Para aquellos que nunca la hayan utilizado, XeSS de Intel es una tecnología de reescalado que no requiere de hardware específico, lo que significa que también funciona con GPUs de AMD y Nvidia. No obstante, dado que aprovecha -mediante IA- las capacidades de hardware de Intel, suele ser comparable a la tecnología de ampliación DLSS de NVIDIA y está por delante del FSR de AMD en términos de calidad de Imagen.
Al igual que DLSS de NVIDIA, XeSS de Intel aprovecha los aceleradores de IA para ofrecer una mejor calidad de imagen que otros métodos de mejora y los resultados hablan por sí solos y se pueden ver en los diversos títulos de XeSS que se han lanzado hasta la fecha. XeSS también es una tecnología de código abierto, lo que significa que se puede integrar fácilmente en los juegos y casi todos los juegos que cuentan con XeSS también soportan otros técnicas de reescalado, como FSR y DLSS.
No obstante, las tecnologías DLSS de Nvidia y FSR de AMD se han ampliado aún más con soporte para la generación de fotogramas, un método que inserta un fotograma mediante tecnología de interpolación. Esto se puede utilizar para aumentar los FPS manteniendo la misma calidad calidad de imagen correspondiente al modo de calidad de cada escalador. DLSS se actualizó recientemente a las versión 3.5 con Ray Reconstuction para mejorar la calidad de reconstrucción de imagen al utilizar full ray tracing (o Path Tracing) para lo cual es prácticamente imprescindible activar Frame Generation para obtener FPS jugables. Por otro lado, AMD acaba de lanzar su nueva actualización FSR 3.03 que soluciona los problemas de frame pacing y también ofrece una mejor calidad de imagen que antes, ofreciendo ahora un Modo Ultra Calidad.
La Generación de Fotograma es un área en la que Intel XeSS no ha tenido presencia, hasta ahora. Parece que Intel tiene su solución en proceso como una extensión de XeSS conocida como ExtraSS. En la presentación «ExtraSS: Un marco para el supermuestreo espacial conjunto y la extrapolación de cuadros», el vicepresidente de investigación de gráficos de Intel, Anton Kaplanyan, y varios otros autores proponen la idea de la extrapolación de cuadros para usarla en la generación de cuadros. La descripción de la presentación se detalla a continuación:
«Presentamos ExtraSS, un framework novedoso que combina supermuestreo espacial y extrapolación de fotogramas para mejorar el rendimiento de renderizado en tiempo real. Al integrar estas técnicas, nuestro enfoque logra un equilibrio entre rendimiento y calidad, generando resultados temporalmente estables, de alta calidad y alta resolución.
Aprovechando módulos livianos sobre deformación y ExtraSSNet para refinamiento, explotamos la información espacio-temporal, mejoramos la nitidez del renderizado, las sombras se muestran en movimiento con precisión y generamos resultados temporalmente estables. Los costos computacionales se reducen significativamente en comparación con los métodos de renderizado tradicionales, lo que permite velocidades de cuadros más altas y resultados de alta resolución sin bordes dentados.
La evaluación con Unreal Engine demuestra los beneficios de nuestro framework sobre los métodos convencionales de súper muestreo espacial o temporal individual, brindando una velocidad de renderizado y una calidad visual mejoradas. Con su capacidad para generar resultados de alta calidad temporalmente estables, nuestra tecnología crea nuevas posibilidades para aplicaciones de renderizado en tiempo real, avanzando los límites del rendimiento y el renderizado fotorrealista en varios dominios.
vía SIGGRAPH ASIA 2023»
Lo interesante de XeSS «ExtraSS» de Intel es que la técnica de generación de fotogramas que se utiliza es «extrapolación de cuadros» en lugar de «interpolación de cuadros». Sabemos que tanto DLSS 3 de Nvidia como AMD FSR 3 utilizan «interpolación de fotogramas» para generar e insertar fotogramas dentro de una escena específica, ofreciendo FPS más altos. Tanto el método de interpolación como el de extrapolación son prácticamente iguales, pero según BlurBusters, la principal diferencia radica en cómo se produce el fotograma generado.
El método de interpolación utiliza múltiples muestras para producir una aproximación del fotograma que se va a insertar, mientras que el método de extrapolación usa información más allá de los límites de la muestra de entrada para producir una aproximación del fotograma. Se dice que la extrapolación podría producir resultados menos confiables y agregar más errores visuales (artifacts), pero se han visto problemas similares con la interpolación en su primera etapa, por lo que con algunos ajustes y optimizaciones, ExtraSS de XeSS podría encontrar un término medio para ofrecer buena calidad con FPS más altos.
El propio artículo de investigación también destaca las diferencias entre interpolación y extrapolación. En este se menciona que, si bien la interpolación de fotogramas genera mejores resultados, también introduce una mayor latencia al generar cuadros, razón por la cual NVIDIA y AMD cuentan con tecnologías de reducción de latencia, como Reflex y Anti-Lag, necesarias para brindar una experiencia de generación de cuadros fluida. Por otro lado, la extrapolación no produce una latencia muy alta, pero tiene dificultades debido a la falta de información clave para producir un nuevo cuadro. ExtraSS de XeSS tiene como objetivo resolver esto mediante el uso de un nuevo método de deformación que ayuda a producir mejores calidades que los métodos de generación de fotogramas anteriores y con latencias más bajas.
La extrapolación de fotogramas es otra forma de aumentar la velocidad de fotogramas utilizando únicamente la información de fotogramas anteriores. En el 2022 se propuso un método basado en un acelerador de flujo óptico para predecir el flujo basándose en flujos anteriores y luego deformar el cuadro actual al siguiente cuadro. ExtraNet utiliza vectores de movimiento de oclusión con redes neuronales para manejar áreas desocluidas y cambios de sombreado con información de buffers G. Sus métodos fallan cuando la escena se vuelve compleja y generan fallos visuales en las áreas disocluidas. Además, requiere entradas de mayor resolución ya que solo generan nuevos fotogramas. Somos los primeros en proponer un framework conjunto para resolver juntos el supermuestreo espacial y la extrapolación de cuadros sin dejar de ser eficientes y de alta calidad.
Interpolación (DLSS3 y FSR3) versus extrapolación (ExtraSS)
La interpolación y extrapolación de cuadros son dos métodos clave del supermuestreo temporal. Generalmente la interpolación de cuadros genera mejores resultados pero también trae latencia al generar los cuadros. Tengan en cuenta que existen algunos métodos, como Nvidia Reflex, que disminuye la latencia mediante el uso de un mejor scheduler para las entradas, pero no pueden evitar la latencia introducida desde la interpolación de fotogramas y es ortogonal a los métodos de interpolación y extrapolación.
Los métodos de interpolación todavía tienen una latencia mayor incluso con esas técnicas. La extrapolación de fotogramas tiene menos latencia pero tiene dificultades para manejar las áreas no ocluidas debido a la falta de información de los fotogramas de entrada. Nuestro método propone un nuevo método de deformación con un modelo de flujo liviano para extrapolar cuadros con mejores cualidades a los métodos de generación de cuadros anteriores y menos latencia en comparación con los métodos basados ????en interpolación.»
También puede observar algunas comparaciones entre el método de extrapolación de cuadros «ExtraSS» de XeSS de Intel con otras tecnologías de aliasing como SSAA, TAA y frameworks de representación neuronal como ExtraNet e IFRnet a continuación:
En algunas pruebas de rendimiento del tiempo de renderizado, Intel mostró un sistema corriendo una CPU AMD Ryzen 9 5950X acompañado de una GPU GeForce RTX 3090 de Nvidia. Dicha GPU también ejecutaba el mismo método de Generación de Fotogramas de Intel XeSS mediante Extrapolación, lo que significa que esta sería la segunda tecnología de generación de cuadros, además de FSR 3 de AMD, en ofrecer soporte para las GPUs de AMD, Intel y Nvidia, lo que una vez más muestra el compromiso de Intel con las tecnologías de código abierto.
El hecho de que Intel esté trabajando en su propia tecnología de generación de fotogramas y que sea compatible con las tres fabricantes de GPUs del mercado definitivamente son buenas noticias para los gamers de PC. La competencia entre los tres sin dudas hará que los mismos sigan trayendo más alternativas para más jugadores sin importar que tarjeta compren, aunque lógicamente algunas tecnologías darán beneficios exclusivos a quienes adquieran las GPUs correspondientes a cada tecnología (como el DLSS 3.5 y FG de Nvidia, el Anti-Lag+ de AMD o el XeSS de Intel, que también usa IA y ofrece mejor calidad de imagen que con GPUs de AMD o Nvidia).
La tecnología de Intel aún está en etapa de desarrollo y parece que faltará un tiempo para que se introduzca la tecnología, pero es posible que escuchemos más sobre ella en el 2024 en la CES. Quizás muchos no lo sepan pero XeSS, a pesar de que llegó tarde en comparación a FSR2 de AMD, parecer estar bien encaminado tanto por la calidad de imagen que ofrece (similar a a DLSS), mientras que su tecnología de generación de fotogramas mediante extrapolación podría ser un batacazo tanto para AMD como para Nvidia, pero será cuestión de esperar y ver los resultados.
