Avances y futuro del desarrollo de la tecnología de generación de videos con IA

Recientemente, el avance más notable en el campo de la IA ha sido el importante progreso en la tecnología de generación de videos multimodales. Esta tecnología ha evolucionado de la simple generación de videos a partir de texto a una tecnología de generación de cadena completa que integra texto, imágenes y audio.

Varios casos destacados de este avance tecnológico incluyen:

1. Un marco EX-4D de código abierto desarrollado por una empresa tecnológica puede convertir videos monoculares normales en contenido 4D de perspectiva libre, con un nivel de aceptación del usuario que alcanza el 70.7%. Esta tecnología permite que la IA genere automáticamente efectos de visualización desde cualquier ángulo, algo que en el pasado requería un equipo profesional de modelado 3D.

2. Una función llamada "Hui Xiang" lanzada por una plataforma de IA afirma poder generar un video de "calidad cinematográfica" de 10 segundos a partir de una imagen. Sin embargo, la veracidad de esta afirmación todavía necesita ser verificada.

3. La tecnología Veo desarrollada por una institución de investigación de IA puede lograr la generación sincronizada de video 4K y sonido ambiental. La clave de esta tecnología radica en la realización de una coincidencia audiovisual a nivel semántico real, superando el desafío de sincronización en escenas complejas.

4. La tecnología ContentV de una plataforma de videos cortos tiene 8 mil millones de parámetros y puede generar videos en 1080p en 2.3 segundos, con un costo de 3.67 yuanes/5 segundos. Aunque el control de costos es bastante bueno, la calidad de generación en escenarios complejos aún necesita mejorar.

Estos avances tecnológicos son de gran importancia en aspectos como la calidad del video, el costo de generación y los escenarios de aplicación. Desde un punto de vista técnico, la complejidad de la generación de video multimodal es exponencial, involucrando múltiples aspectos como la generación de imágenes, la coherencia temporal, la sincronización de audio y la consistencia del espacio 3D. Actualmente, gracias a la descomposición modular y la colaboración de grandes modelos, estas tareas complejas se pueden llevar a cabo.

En términos de costos, la optimización de la arquitectura de inferencia, que incluye estrategias de generación en capas, mecanismos de reutilización de caché y asignación dinámica de recursos, ha reducido significativamente los costos de generación. Esto hace que la generación de videos por IA sea más ventajosa desde el punto de vista económico.

El impacto en los campos de aplicación también es muy significativo. La producción de video tradicional es una industria intensiva en capital, mientras que la tecnología de IA simplifica este proceso a la entrada de palabras clave y unos minutos de espera, al mismo tiempo que logra ángulos y efectos especiales que son difíciles de alcanzar con la filmación tradicional. Esto podría provocar una reconfiguración de la economía de los creadores, trasladando el enfoque de las barreras tecnológicas y de capital a la creatividad y la capacidad estética.

Estos cambios están estrechamente relacionados con Web3 AI:

1. El cambio en la estructura de la demanda de potencia de cálculo puede aumentar la demanda de potencia de cálculo distribuida ociosa, así como la demanda de varios modelos de ajuste fino distribuidos, algoritmos y plataformas de inferencia.

2. La demanda de etiquetado de datos también aumentará. Generar videos de nivel profesional requiere descripciones de escenas precisas, imágenes de referencia, estilos de audio, trayectorias de cámara y condiciones de iluminación, entre otros datos especializados. El mecanismo de incentivos de Web3 puede alentar a los profesionales a proporcionar materiales de datos de alta calidad.

3. La tecnología de IA está pasando de la asignación de recursos a gran escala y centralizada a la colaboración modular, lo que representa una nueva demanda para plataformas descentralizadas. En el futuro, la potencia de cálculo, los datos, los modelos y los mecanismos de incentivos podrían formar un ciclo virtuoso de auto-refuerzo, impulsando la fusión profunda de los escenarios de IA de Web3 y Web2.