Microsoft запатентовала ИИ для правки речи и лиц в трансляциях

Технология предполагает не только редактирование звуковой дорожки: ИИ-агенты должны менять изображение говорящего, включая движения губ и выражение лица, чтобы они соответствовали новой версии речи. Система сможет фильтровать определённые слова и фразы, удалять их или заменять другими, используя заранее заданные параметры или пользовательские профили. Алгоритм также должен корректировать видео и звук до и после изменённого фрагмента для естественных переходов.

Среди возможных применений Microsoft называет перевод прямых трансляций на предпочтительный для зрителя язык, удаление слов-паразитов, исправление заикания и других особенностей речи. В патенте перечислены и более спорные варианты: удаление местных выражений и разговорных оборотов, неправильно произнесённых или употреблённых слов, а также оскорбительных и неуместных высказываний. Слова для замены система сможет подбирать в том числе с помощью поиска в интернете.

Технологию предполагается применять к лекциям, презентациям, телевизионным программам, церемониям, шоу и спортивным трансляциям. Зритель сможет получать не только перевод, но и персонально отредактированную версию выступления с формулировками, которые система сочтёт подходящими под его настройки. В патенте предусмотрено сохранение исходных видео и аудио в качестве эталонной записи, что может помочь отличать оригинальную трансляцию от обработанной версии.