Как нейросети создают видео: от первых deepfakes до Sora и OpenArt

Введение: как ИИ научился «снимать» видео

За последние несколько лет искусственный интеллект совершил прорыв в области генерации видеоконтента. Если раньше создание реалистичного видео требовало дорогостоящего оборудования, профессиональных навыков монтажа и многих часов работы, то теперь нейросети позволяют получать готовые ролики по текстовому описанию за считанные минуты. Этот материал расскажет о ключевых этапах развития технологии, её возможностях, ограничениях и практических применениях — от первых экспериментов с deepfakes до современных платформ вроде Sora и OpenArt.

Первые шаги: deepfakes и фейковые видео с политиками

В конце 2017 года на Reddit появился пользователь deepfakes, который выложил порногифки со знаменитостями — Скарлетт Йоханссон и Тейлор Свифт. Ролики создавались нейросетью, которая анализировала лица порноактрис в оригинальных видео, а затем заменяла их на лица знаменитостей, скачанные из интернета. Позже разработчик опубликовал саму программу, позволяющую любому владельцу мощного компьютера вставлять в порно лица выбранных знаменитостей или даже знакомых. Тред набрал более 90 тысяч подписчиков, но вскоре Reddit, Twitter и PornHub начали удалять такой контент, приравняв его к порномести.

Параллельно исследователи из Вашингтонского университета научили нейросеть создавать реалистичные видео с Бараком Обамой. Нейронную сеть тренировали на 14 часах видеозаписей бывшего президента, и она могла заставить его говорить любой текст с точной мимикой и интонациями. Другие учёные создали алгоритм, который в реальном времени накладывал мимику актёра на видео с политиками — Джорджем Бушем и Владимиром Путиным. Эти разработки показали, что ИИ может стать мощным инструментом для создания фейковых новостей и политической пропаганды.

Коммерческие применения: от рекламы до музыкальных клипов

Уже в 2018 году нейросети начали использовать в коммерческих целях. Компания Lumen5 запустила сервис, который на основе текста автоматически создаёт короткие видео для соцсетей. ИИ выделяет ключевые пункты, подбирает видеоряд, а пользователю остаётся лишь отредактировать результат и добавить брендирование. Сервисом пользуются Avast, Kaspersky и Change.org.

Сервис Rotor позволяет создавать музыкальные клипы: пользователь загружает аудиозапись и видеоряд (или выбирает стоковые материалы), затем выбирает один из 40 стилей редактирования, и алгоритм сам совмещает звук и видео с визуальными эффектами. Японское рекламное агентство McCann разработало ИИ, который пишет сценарии для рекламных роликов на основе информации о продукте — отличить такую рекламу от созданной человеком довольно сложно.

Редактирование видео с помощью ИИ: погода, время суток, объекты

Нейросети применяются не только для генерации, но и для редактирования готовых видео. В декабре 2017 года Nvidia представила алгоритм, который позволяет изменить погоду или время суток на видео — например, превратить день в ночь или солнечную погоду в дождливую. Результаты выглядят натуралистично, а алгоритму требуется минимум исходных данных.

Adobe также ведёт разработки в этой области: осенью 2017 года компания показала прототип функции, которая с помощью ИИ позволяет удалять из видео лишние объекты в пару кликов. Раньше для этого приходилось ретушировать каждый кадр вручную, и результат часто был неидеальным. Новый алгоритм практически не оставляет следов редактирования.

Sora от OpenAI: прорыв в генерации видео по тексту

В 2024 году компания OpenAI (создатели ChatGPT) представила нейросеть Sora, способную генерировать видеоролики по текстовому запросу. Sora создаёт сложные сцены с несколькими персонажами, определёнными типами движения и точными деталями объекта и фона. Разрешение достигает 1920×1080, а продолжительность — до минуты.

Примеры возможностей Sora:

• Мамонты, шагающие по снегу: длинный шерстистый мех развевается на ветру, заснеженные деревья, горные вершины, полуденный свет с облаками.
• Стильная женщина на токийской улице: неон, анимированные вывески, влажная дорога, отражающая разноцветные огни, уверенная походка.
• Волны, разбивающиеся о скалы в Биг-Суре: бушующие голубые воды, золотой свет заката, маяк на острове.

Sora понимает не только текст запроса, но и то, как объекты существуют в реальном мире. Она также умеет дополнять существующие видео новыми кадрами и анимировать статичные изображения.

Ограничения Sora и других генеративных моделей

Несмотря на впечатляющие результаты, Sora не лишена недостатков. Нейросеть не всегда точно наделяет предметы нужными характеристиками и испытывает трудности с анимацией физических процессов. Например, в одном из тестов ИИ попросили показать, как археологи раскапывают в пустыне пластиковый стул — нейросеть не смогла идентифицировать стул как твёрдый объект, что привело к неестественным кадрам.

Sora также не всегда понимает причинно-следственные связи: например, показывает, как человек ест печенье, но на печенье не остаётся следов от укуса. Она путает временные рамки и пространственные детали (лево и право). Разработчики планируют сначала предоставить доступ художникам, дизайнерам и режиссёрам, чтобы они помогли улучшить модель.

OpenArt: универсальная платформа для создания видео, изображений и аудио

OpenArt — это платформа, объединяющая множество моделей ИИ для генерации изображений, видео, музыки и голоса. Она поддерживает такие модели, как Seedance 2.0, Kling 3.0, Sora 2, Google Veo 3, GPT Image 2, Nano Banana Pro и другие. Пользователи могут создавать видео до 15 секунд с разрешением до 4K, редактировать изображения, строить 3D-миры и генерировать аудиодорожки.

Ключевые возможности OpenArt:

• AI Video Generation: создание видео по тексту или изображению.
• AI Image Generation & Editing: генерация и редактирование изображений (замена фона, рестайлинг, апскейл до 4K).
• Character: создание персонажей с единым лицом для использования в разных сценах.
• World: генерация 3D-окружения по одному промпту.
• AI Music & Audio: озвучка, музыка, звуковые эффекты с синхронизацией губ.

OpenArt ориентирован на создателей контента, бренды и студии. Платформа предлагает бесплатный тариф с ежедневными кредитами, а платные подписки открывают доступ к более мощным моделям и экспорту в высоком разрешении.

Сравнение моделей: Seedance, Kling, Sora, Veo и другие

На платформе OpenArt доступны десятки моделей, каждая со своими особенностями:

• Seedance 2.0 (ByteDance): плавное движение, реалистичная физика, кинематографическая работа камеры.
• Kling 3.0 (Kuaishou): стилизованное движение, аниме-сцены, многокадровая непрерывность.
• Sora 2 (OpenAI): реалистичная физика, синхронизированное аудио, сложные многосценные ролики.
• Google Veo 3: нативная генерация аудио, диалоги, кинематографическое качество.
• MiniMax Hailuo: выразительное движение персонажей, синхронизация губ и жестов.
• HappyHorse: генерация аудио и видео в одном проходе, синхронизация губ, диалоги, спецэффекты.

Выбор модели зависит от задачи: для фотореалистичных сцен лучше подходит Seedance или Sora, для аниме — Kling, для быстрых соцсетевых роликов — HappyHorse или Grok Imagine.

Практические советы по созданию видео с помощью нейросетей

Чтобы получить качественный результат, важно правильно формулировать текстовые запросы (промпты). Чем детальнее описание, тем точнее нейросеть воспроизведёт задумку. Указывайте:

• Действие и движение (идёт, бежит, танцует).
• Окружение и освещение (улица, неон, закат, дождь).
• Детали объектов (цвет, текстура, размер).
• Ракурс камеры (снизу, сверху, крупный план).

Для создания персонажей с единым лицом используйте функцию Character в OpenArt: загрузите несколько референсных изображений или опишите внешность текстом, сохраните персонажа и затем применяйте его в разных сценах. Это особенно полезно для брендовых масок, AI-инфлюенсеров и короткометражных фильмов.

Если нужно синхронизировать видео с музыкой или голосом, выбирайте модели с поддержкой аудио (HappyHorse, Google Veo 3). Для ретуши и замены фона используйте инструменты Video Inpaint и Replace Background.

Этические аспекты и будущее технологии

Генерация видео с помощью ИИ поднимает серьёзные этические вопросы. Уже сейчас нейросети используются для создания дипфейков — поддельных видео с участием знаменитостей и политиков. Такие ролики могут стать инструментом дезинформации, шантажа или политической пропаганды. PornHub и другие платформы запрещают дипфейк-порно, приравнивая его к порномести.

Разработчики Sora и OpenArt заявляют, что внедряют меры безопасности: фильтрацию запросов, водяные знаки, ограничения на создание контента с реальными людьми. Однако полностью исключить злоупотребления пока не удаётся. В будущем, вероятно, появятся более совершенные методы аутентификации видео и законодательные нормы, регулирующие использование ИИ в медиа.

Вопросы и ответы