Sony запатентовала ИИ-систему предсказания кадров для PlayStation

Что предлагает Sony

Sony получила патент на систему, которая использует искусственный интеллект для предсказания следующего кадра игры. Пока графический процессор занят отрисовкой текущего изображения, нейросеть формирует собственную версию будущего кадра и отправляет её в буфер вывода. Заявленная цель — сгладить просадки частоты кадров и сделать картинку стабильнее.

Чем это отличается от существующих технологий

Современные методы генерации промежуточных кадров нередко опираются на два уже готовых изображения: чтобы вставить кадр между ними, системе приходится ждать завершения отрисовки второго. Это может увеличивать задержку между действиями игрока и реакцией игры. Подход Sony строится иначе: ИИ отталкивается от последнего готового кадра и прогнозирует следующий, не дожидаясь его полной отрисовки.

Как устроена модель

В основе системы — совместно обученная пара моделей: кодировщик и декодировщик. Первая преобразует готовый кадр в компактное числовое представление, вторая восстанавливает по нему предсказанное изображение. Для повышения точности система может учитывать векторы движения, описывающие перемещение объектов между кадрами, и последние действия игрока с контроллера. Это помогает модели оценивать не только текущую сцену, но и то, как она может измениться.

Как обучают нейросеть

Модель получает последовательности видеокадров: по одному изображению она пытается предсказать следующее, а затем сравнивает результат с реальным кадром и вычисляет ошибку. Патент предусматривает проверку этой ошибки относительно заданного порога. Размечать изображения вручную не требуется — эталоном служат следующие кадры исходного видео. В документе также описан вариант, при котором декодировщик выдаёт больше цветовых каналов, чем получает кодировщик, что позволяет формировать несколько предсказанных кадров за один раз.

Альтернатива без нейросети

Sony рассматривает и более простой алгоритм: он перемещал бы блоки пикселей в соответствии с их движением, создавая синтетические кадры на основе перемещения элементов изображения. Такой подход не требует обучения модели, но и точность его, вероятно, будет ниже в сложных сценах.

Что остаётся за кадром

В патенте заявлена возможность поддерживать стабильную частоту вывода кадров без снижения качества картинки, однако это пока лишь описание предполагаемых преимуществ. Sony не приводит результатов испытаний, поэтому реальная эффективность метода не подтверждена. Главный вопрос — сможет ли система достаточно быстро и точно предсказывать изображение в динамичных сценах, особенно когда нагрузка на графический процессор резко возрастает.

Когда ждать в консолях

Сам по себе патент не подтверждает, что технология уже работает в играх или появится в будущих консолях PlayStation. Патенты часто описывают концепции, которые так и не доходят до серийных продуктов. Тем не менее документ показывает направление, в котором Sony ищет способы борьбы с просадками FPS без ущерба для отзывчивости управления.