En la actualidad, las marcas y sus agencias creativas se encuentran bajo una enorme presión para crear y entregar imágenes de productos precisas y de alta calidad a gran escala, desde imágenes clave para campañas hasta fotografías de productos para comercio electrónico.
El contenido dirigido a la audiencia, como las variaciones visuales personalizadas y localizadas, agrega capas adicionales de complejidad a la producción.
Los costos de producción, los plazos cortos, los recursos y el mantenimiento de la identidad de marca son obstáculos recurrentes que impiden a los equipos de marketing crear más activos y contenido más específico para sus segmentos de audiencia.
Por ejemplo, un fabricante de máquinas de café expreso podría querer dirigirse a una amplia gama de audiencias para el próximo lanzamiento de un producto, desde jóvenes profesionales que viven en una ciudad hasta generaciones mayores que disfrutan de su jubilación en el campo. Históricamente, esto requeriría múltiples flujos de trabajo, ubicaciones, equipos y ciclos de revisión para ejecutarse, lo que a menudo no es posible, lo que limita el contenido disponible que los equipos de marketing pueden usar para la segmentación.
Para generar contenido de alta calidad y preciso para la marca a gran escala y dirigido a segmentos de audiencia muy diversos, los equipos creativos ahora pueden aprovechar los flujos de trabajo de IA generativa. La integración de la IA generativa en las herramientas y aplicaciones que se utilizan para la generación de activos visuales y la producción de contenido precisos para la marca puede generar nuevas posibilidades y eficiencias para la cadena de suministro de contenido.
Muchos desarrolladores ya están trabajando para hacer esto realidad.
En esta publicación, presentamos el plan NVIDIA Omniverse para el acondicionamiento 3D para una IA generativa visual precisa , brindamos una descripción general de cómo funciona, para qué se puede usar y escuchamos a algunos líderes de la industria sobre cómo piensan sobre el desarrollo de este campo.
Los Blueprints de NVIDIA Omniverse son flujos de trabajo de referencia que le permiten implementar y crear fácilmente aplicaciones 3D, de simulación y gemelas digitales .
Acondicionamiento de modelos para desbloquear la IA generativa para la creación de activos escalables y controlados
La integración de la IA generativa en un flujo de trabajo para crear imágenes precisas de la marca puede ser problemática si no se tiene control sobre la información visual del producto. Es posible que se malinterpreten o pierdan ciertas pautas de la marca, como la geometría, el color y los logotipos, si no se aplica un determinado condicionamiento.
El condicionamiento de modelos implica proporcionar a un modelo información o reglas específicas para ayudarlo a realizar mejores predicciones o tomar mejores decisiones en función de lo que desea que haga. Para condicionar un LLM, debe proporcionar instrucciones basadas en texto, ejemplos, contexto o historial de conversaciones anteriores. En el caso de los generadores de imágenes, puede proporcionar texto o una imagen de muestra.
Pero esto solo proporciona un cierto grado de control sobre el modelo de IA. Por eso es necesario el condicionamiento 3D.
La creación de un escenario en 3D permite a los artistas tener el máximo control creativo o dirección sobre el resultado de las imágenes generadas. La creación de una interfaz de usuario fácil de usar para la interacción del usuario final permite a los equipos no técnicos iterar y crear contenido en un marco controlado y condicionado, mientras que la IA mantiene los activos de marca intactos.
Este modelo de Omniverse adopta un enfoque multimodal, junto con una combinación de 3D para el elemento principal y geometría de entorno simple y pases de renderizado 2D para una rápida retoque para completar la escena controlada. Mantiene la integridad del gemelo digital del producto con enmascaramiento y puede encuadrar la toma cambiando el ángulo de la cámara y el zoom a través de una ventana gráfica 3D.
La creación de un flujo de trabajo condicionado en 3D para una IA generativa visual precisa implica un puñado de componentes clave:
- Activo estrella de la marca: un activo finalizado, creado por un artista y generalmente aprobado por un gerente de marca y un director de arte, que debe considerarse el activo estrella. Para este ejemplo, proporcionamos una máquina de café expreso simple.
- Una escena 3D simple y sin texturas: proporcionada por un artista 3D, para usarla para preparar el recurso del héroe y controlar el diseño y la composición.
- Aplicación personalizada: creada con la plantilla de aplicación Kit basada en Kit 106.2.
- Microservicios de IA generativa y extensiones de kit: agregue funcionalidad de IA generativa a su aplicación personalizada. En este caso, un modelo de difusión se encarga de la reproducción.
- Prueba de solución: verifica la funcionalidad y el rendimiento de su flujo de trabajo integrado.
Para este flujo de trabajo, exploramos específicamente microservicios que le permiten utilizar IA generativa y al mismo tiempo aprovechar OpenUSD para el desarrollo de aplicaciones y flujos de trabajo en 3D.
Los planos de Omniverse están diseñados para ser extensibles y personalizables. A continuación, se muestran algunos componentes adicionales que puede incorporar al flujo de trabajo:
- Modelos multimodales grandes (LMM) + ComfyUI: modelos rápidos de texto a imagen generativos que pueden sintetizar imágenes fotorrealistas a partir de una indicación de texto.
- Edify 360 NIM : vista previa de acceso anticipado de Shutterstock del servicio 3D generativo para la generación de imágenes de alto rango dinámico (HDRI) en 360 grados. Capacitación en NVIDIA Edify con las bibliotecas creativas con licencia de Shutterstock.
- Edify 3D NIM : servicio 3D generativo de Shutterstock para la generación de activos 3D, utilizado para objetos 3D adicionales para la decoración de escenas. Capacitado en NVIDIA Edify con las bibliotecas creativas con licencia de Shutterstock
- Código USD : un modelo de lenguaje que responde a las consultas de conocimiento de OpenUSD y genera código Python de USD.
- USD Search : una búsqueda impulsada por IA de datos de OpenUSD, modelos 3D, imágenes y activos utilizando entradas basadas en texto o imágenes.
Al finalizar la guía de flujo de trabajo , podrá desarrollar su propia aplicación personalizada con IA para ayudar y acelerar a sus equipos creativos y de marketing. Todos los microservicios están disponibles actualmente como vista previa en build.nvidia.com , donde puede realizar llamadas API para evaluación.
El ecosistema de marketing se construye con NVIDIA Omniverse Blueprints
Los desarrolladores de proveedores de software independientes (ISV) y agencias de servicios de producción están construyendo la próxima generación de soluciones de creación de contenido, infundidas con IA generativa controlable, construida sobre OpenUSD.
Por ejemplo, Accenture Song , GRIP , Monks , WPP y Collective World están adoptando Omniverse Blueprints para acelerar el desarrollo.
Desarrollo de una solución de IA escalable para la creación de activos de marca
Este modelo le ofrece una arquitectura de ejemplo de cómo crear aplicaciones de IA generativas controlables. Ahora, usted o su cliente pueden aprovechar al máximo su aplicación:
- Activos de campaña de fotograma final generados por IA multimodal
- Conceptualización e ideación rápida de elementos visuales clave
- Procesamiento por lotes de entradas de indicaciones, generando potencialmente cientos de salidas visuales a partir de indicaciones de texto predefinidas provenientes de una base de datos
Al implementar este plan, usted o su cliente obtendrán los siguientes beneficios:
- Tiempo de comercialización acelerado: reduzca significativamente el tiempo que lleva crear activos de marca de alta resolución para permitir que los productos se lancen al mercado más rápido.
- Localización de bajo esfuerzo: permite la creación de imágenes localizadas al instante para ayudar a las marcas a cumplir con ciertas tendencias o requisitos culturales para diferentes mercados.
- Mayor productividad: las herramientas fáciles de usar que utilizan datos 3D pueden reducir el conjunto de habilidades técnicas tradicionalmente asociadas con la creación de activos de alta fidelidad.
Empezar
En esta publicación, presentamos NVIDIA Omniverse Blueprint para el acondicionamiento 3D para una IA generativa visual precisa y le mostramos formas de beneficiarse de la creación de aplicaciones de IA generativa para la generación de activos visuales y la producción de contenido con precisión de marca.
Para obtener más información, consulte los siguientes recursos:
- Acondicionamiento 3D para un modelo visual generativo de IA preciso con la demostración interactiva en el catálogo de API de NVIDIA
- Lanzamiento de GA de la API de búsqueda de USD , que incluye un gráfico Helm descargable para su propia implementación para interactuar con sus propios datos en su propia infraestructura
- Ejemplo de flujo de trabajo de arquitectura de referencia con una guía paso a paso para implementar el plan
- Repositorio de GitHub de NVIDIA-NIM-Agent-Blueprints/3d-conditioning , que incluye una guía de flujo de trabajo
Recursos relacionados
- Curso DLI: Aumento y segmentación de datos con redes generativas para imágenes médicas
- Sesión de GTC: Aprovechamiento de la IA generativa para la generación y edición de contenidos de marketing
- Sesión de GTC: Creación de herramientas para mundos digitales: empresas emergentes pioneras en OpenUSD y la IA generativa
- Sesión de GTC: ¿Qué viene a continuación en la IA generativa?
- NGC Containers: servicios de laboratorio, asesoría de compras y venta minorista
- Seminario web: Creación de aplicaciones de IA generativa para las demandas empresariales
nvidia Blog. J. M. Traducido al español
Contacto