Sony запатентовала ИИ-систему предсказания кадров для PlayStation

Система использует последний готовый кадр и предсказывает, как будет выглядеть следующий, не дожидаясь его полной отрисовки. Пока видеочип формирует новое изображение, нейросеть отправляет свою версию кадра в буфер вывода. По замыслу это должно сгладить просадки частоты кадров и сделать изображение стабильнее без задержки, которая возникает у некоторых технологий генерации промежуточных кадров.

В основе лежит совместно обученная пара моделей — кодировщик и декодировщик. Первая преобразует готовый кадр в компактное числовое представление, вторая на его основе восстанавливает предсказанное изображение. Для повышения точности система может учитывать векторы движения и последние действия игрока с контроллера.

Обучение нейросети идёт на последовательностях видеокадров: по одному изображению она предсказывает следующее, сравнивает результат с реальным кадром и вычисляет ошибку, которая проверяется относительно заданного порога. Размечать изображения вручную не требуется. В документе также описан вариант, при котором декодировщик выдаёт больше цветовых каналов, чем получает кодировщик, что позволяет формировать несколько предсказанных кадров за один раз. Рассматривается и альтернатива без нейросети — алгоритм, перемещающий блоки пикселей в соответствии с их движением.