Программисты создали технологию синтеза голоса знаменитостей

Компания Screenlife Technologies Тимура Бекмамбетова и Stafory, разработчик HR-сервиса «Робот Вера» на основе ИИ, запустили проект Vera Voice, который позволяет синтезировать голос знаменитостей на русском языке. Для развития проекта Screenlife Technologies и Stafory создадут совместную организацию, а доли распределятся поровну.

Vera Voice основан на нейросети, которая анализирует оригинальный голос и воспроизводит его цифровую копию. Партнёры планируют использовать копии голосов для озвучки рекламы, объявлений, книг, фильмов, музейных гидов, игр и так далее.

Сооснователь Stafory Владимир Свешников рассказал, что для синтеза голоса достаточно несколько часов аудиоданных, озвученных обладателем голоса и оцифрованный текст, который он зачитывает. Аудиопоток и текст «выгружаются» в несколько нейронных сетей одновременно, одна — генерирует спектрограмму звука (его визуальное изображение), а вторая — непосредственно звук.

Пример голоса обладателя для нейросети — показатель, к которому она стремится. Копия голоса синтезируется с учётом специфического произношения слов, скорости речи, интонаций и тембра.

Для работы партнёры планируют заключать договоры с обладателями голоса — Vera Voice станет агентом по синтезу его речи. Первый пилот должны запустить в течение месяца.

Компания уже подписала договор на легальное использование голоса сооснователя студии «Кубик в кубе» Руслана Габидуллина для записи аудиокниг, интерактивной рекламы, игр и голосовых открыток. Также Vera Voice ведёт переговоры об использовании её технологий с агентством аудио-коммуникаций Unisound, первые проекты смогут уже появиться в начале следующего года.

Один из интересных инструментов Vera Voice — защита голоса от deep fake и определение факта синтеза голоса. Партнёры обещают защищать интересы обладателей голоса и отслеживать появление голосовых клонов.

Тимур Бекмамбетов полагает, что вскоре мы будем жить в мире наших цифровых копий и уже сейчас важно найти цивилизованные способы использования искусственного интеллекта. Отлавливать подделки и защищать известных людей от несанкционированного копирования их образов — одна из главных задач проекта.

Stafory занимается разработками на базе ИИ. В 2016 году компания представила платформу для подбора сотрудников с технологией распознавания речи «Робот Вера». Среди инвесторов Stafory — Фонд развития интернет-инициатив.