Технологія генерації відео за допомогою ШІ досягла проривного прогресу, що відкриває нові можливості для Web3 AI

Нещодавніми змінами в сфері штучного інтелекту є прориви в технології генерації мультимедійних відео. Ця технологія розвинулася від генерації відео з чистого тексту до інтеграції тексту, зображень і аудіо в повний процес генерації.

Декілька технічних проривів, на які варто звернути увагу, включають:

1. Відкритий фреймворк EX-4D, розроблений технологічною компанією, може перетворювати одноокі відео в 4D-контент з вільним кутом огляду, рівень прийняття користувачами перевищує 70%. Це означає, що ШІ може автоматично генерувати ефект перегляду з будь-якого кута для звичайних відео, що раніше вимагало професійної команди 3D-моделювання.

2. Один AI-майданчик стверджує, що може створити 10-секундне відео "кіноякісного" рівня з одного зображення. Конкретний ефект ще треба буде перевірити після оновлення його професійної версії.

3. Технологія, розроблена відомою дослідницькою організацією в галузі штучного інтелекту, може одночасно генерувати 4K відео та навколишні звуки. Ця технологія долає виклики синхронізації звуку та зображення в складних сценах, такі як точне відповідність між рухом пішки на екрані та звуком кроків.

4. Штучна модель, що використовується на певній платформі короткометражних відео, має 80 мільярдів параметрів і може генерувати 1080p відео за 2,3 секунди, вартість приблизно 3,67 юаня/5 секунд. Хоча контроль витрат є непоганим, все ще є місце для покращення якості генерації у складних сценах.

Ці прориви мають важливе значення в аспектах якості відео, витрат на генерацію та сценаріїв застосування:

У технічному плані складність генерації мультимодальних відео зростає експоненційно. Це вимагає обробки генерації одиночних кадрів (приблизно 10^6 пікселів), забезпечення часової узгодженості (принаймні 100 кадрів), синхронізації аудіо (10^4 зразків на секунду) та просторової консистентності в 3D. Наразі ці складні завдання реалізуються шляхом модульного розподілу та співпраці великих моделей, де кожен модуль зосереджується на конкретній функції, такій як оцінка глибини, зміна кута зору, часовий інтерполяція та оптимізація рендерингу.

У питаннях витрат оптимізація архітектури висновків відіграє ключову роль. Це включає в себе стратегічне генерування на кількох рівнях (спочатку генерування скелета з низькою роздільною здатністю, а потім підвищення роздільної здатності для покращення деталей), механізми повторного використання кешу (повторне використання схожих сцен) та динамічне розподілення ресурсів (налаштування глибини моделі відповідно до складності контенту).

У сфері застосування технології ШІ руйнують традиційний процес створення відео. Раніше створення 30-секундного рекламного ролика могло коштувати десятки тисяч юанів, включаючи обладнання, локації, акторів та пост-продакшн. Тепер ШІ може скоротити цей процес до кількох хвилин після введення підказки, одночасно забезпечуючи кути зйомки та спецефекти, які важко досягти традиційною зйомкою. Ця революція змінить економіку творців, зробивши креативність та естетику ключовими факторами.

Ці досягнення технологій Web2 AI також мають важливий вплив на сферу Web3 AI:

1. Зміна структури попиту на обчислювальну потужність створила можливості для розподіленої невикористаної обчислювальної потужності, а також збільшила попит на різноманітні розподілені моделі доопрацювання, алгоритми та платформи для інференсу.

2. Зростання потреби в маркуванні даних створює нові сценарії використання для механізмів винагороди Web3. Для створення професійного відео потрібні точні описи сцен, референтні зображення, аудіо стилі, траєкторії руху камери та умови освітлення тощо. Механізми винагороди Web3 можуть заохочувати фотографів, звукових дизайнерів і 3D-художників надавати високоякісні дані.

3. Технології штучного інтелекту еволюціонують від централізованого масштабного розподілу ресурсів до модульної співпраці, що само по собі створює нові потреби для децентралізованих платформ. У майбутньому комбінація обчислювальної потужності, даних, моделей та механізмів стимулювання може сформувати самоукріплювальне позитивне коло, що сприятиме глибокій інтеграції Web3 AI та Web2 AI сцен.