Ficha del Reto Innotransfer
Prioridad AVI del Reto
Título del reto
Necesidad a resolver
La creación de modelos 3D es uno de los principales retos que enfrenta la IA generativa en la actualidad. Estos modelos permiten producir objetos y elementos tridimensionales a partir de imágenes 2D o descripciones textuales. Aunque tecnologías emergentes como GET3D, 3DFY, Luma AI o Stable Zero123, etc., están marcando el camino, la tecnología sigue en una fase de desarrollo y los modelos 3D generados por IA no están optimizados para su uso en escenografías virtuales.
El modelado manual para escenografía virtual requiere características específicas que facilitan su implementación, características que los modelos generados por IA de propósito general no consideran. Por otra parte los escenarios tridimensionales para producciones virtuales implican muchos modelos 3D configurados de una manera que, conjuntamente, configuran un escenario perfectamente establecido (incluyendo suelo, paredes, columnas, techos, mobiliario, pantallas, etc…).
Además de mejorar la capacidad de creación de modelos 3D adaptados a las necesidades de la escenografía virtual, es crucial también abordar la capacidad de crear un conjunto que tenga sentido o realizar modificaciones sobre propuestas de escenarios con múltiples elementos tridimesionales. La resolución y ejecución en tiempo real, sin la necesidad de hardware de alta gama, son aspectos críticos para desarrollar soluciones ampliamente utilizables.
Por último, en el caso de que las dos necesidades expresadas anteriormente tuvieran respuesta, sería de alto interés disponer de soluciones en las que algunos de los modelos virtualizados puedan interactuar con personas a través de la compresión del lenguaje natural en tiempo real, y generar interacciones modelo-persona en formato avatar virtual.
Requisitos de la solución
Aplicaciones que permitan la generación de modelos 3D y escenarios completos tridimensionales (por ejemplo platós virtuales de TV) con grado de resolución adaptativo a las necesidades de la virtualización, a partir de texto (prompts), modelos 2D o imágenes.
Estrategias de procesado de datos para mover elementos 3D en escenografías AR en tiempo real con alto grado de resolución, posibilitando la interacción con el usuario en tiempo real a través de la comprensión del lenguaje natural (avatar interactivo)
Perfil del colaborador buscado
Grupos de investigación o empresas con alto potencial de desarrollo de modelos propios de IA generativa de modelos 3D, desarrolladores de motores propios de videojuegos, o estrategias de procesado de datos de imágenes en 3D, o integradores de soluciones existentes que permitan alcanzar este fin.
Plazo deseado de la solución
