Утреннее шоу представляет собой некий “винегрет” из интересных публикаций и новостей с различных сайтов, навыков Алисы и музыки. Чтобы настроить «Новости колонка Алиса», вам нужно открыть мобильное приложение или сайт Яндекс.
Плюсы и минусы
- «Алиса» научилась вести утренние шоу — Игромания
- Вышло апрельское обновление Алисы и умных устройств Яндекса | The GEEK
- Слушать утреннее и вечернее шоу Алисы на Станции
- Как проверить статус заказа ВкусВилл
Алиса запустила утреннее шоу с персональными рекомендациями
Похоже, вы используете устаревший браузер, для корректной работы скачайте свежую версию 16 апреля 2020, 07:26 Умные колонки с "Алисой" научились вести персонализированные утренние шоу Голосовой помощник ставит и комментирует песни из персонального плейлиста дня на "Яндекс. Умные колонки с голосовым помощником "Алиса" научились проводить утренние шоу, которые подбираются под конкретных пользователей. Об этом говорится в сообщении "Яндекса". Произнеся команду "Алиса, включи утреннее шоу!
Станция включая версию Мини и других «умных колонках», поддерживающих Алису. Чтобы запустить данную программу, необходимо сказать кодовую фразу «Алиса, включи утреннее шоу».
Во-первых, будет играть только та музыка, которая нравится вам. Во-вторых, в настройках приложения Яндекс вы можете выбрать желаемые источники новостей и интересующие вас темы. Настройте Утреннее шоу для себя: выберите источники новостей, подкасты и даже гороскоп Зайдите в приложение Яндекс и выберите «Устройства»; Нажмите на вкладку «Настройки»; Выберите «Шоу Алисы».
В списке включите темы, которые вам хочется услышать. Среди них можно найти даже короткие подкасты. В навыках для шоу я включил для себя «Цитату дня» и «Комплимент дня» — подкат от Алисы засчитан! Читайте также: Чего мне не хватает в Яндекс. Станции Яндекс. Станция уведомления Не все знают, но на вашу Яндекс. Станцию могут приходить полезные уведомления о новых сериалах на Кинопоиске, музыкальных новинках и выпусках подкастов, на которые вы подписаны. Включить их очень просто. Если колонка мигает зеленым, значит, вам пришло новое уведомление Зайдите в приложение Яндекс; Перейдите в «Настройки»; Выберите «Уведомления от Алисы».
Когда на колонку поступит уведомление, прозвучит короткий звуковой сигнал, а сама колонка начнет мигать зеленым. Просто скажите «Алиса, что нового? Какой сериал посмотреть Яндекс.
Помимо чтения актуальных новостей по утрам, «Алиса» также научилась отслеживать эфиры радиостанций.
Утренние шоу впервые появились в апреле этого года. Пользователи могут сказать «Алисе» соответствующую голосовую команду, и она будет подбирать новостные сводки, прогноз погоды, музыку и подкасты, основываясь на их предпочтениях.
Как настроить новости в Алисе
- Как проверить статус заказа ВкусВилл
- Алиса запустила утреннее шоу с персональными рекомендациями
- Новый формат контента в утреннем шоу Алисы: истории от навыков
- Утреннее шоу Алисы – получайте новости и полезную информацию каждое утро
- Как Алиса отображает последние новости
Новые функции «Алисы» и «Яндекс Станций» за апрель 2024 года
Сделать это можно в приложении «Дом с Алисой»: Настройки → Контент → Шоу с Алисой. Афиша мероприятий и новости. В умных колонках с Алисой появилось персональное утреннее шоу: теперь можно слушать полезную информацию и музыку, подобранную специально для слушателя. «Алиса» научилась персонализировать «Утреннее шоу». Настройка частоты получения новостей позволит вам сделать использование навыка Алисы более удобным и эффективным, подстроив его под ваш ритм жизни. Пользователи умных колонок с голосовым помощником «Алиса» теперь могут послушать новости технологий от портала Утреннее шоу. Особенностью Алисы стала личность, разработанная коллективом Яндекса вместе с журналистом и бывшим руководителем группы маркетинга компании Владимиром Гуриевым.
Новый формат контента в утреннем шоу Алисы: истории от навыков
Ничего страшного! Просто скажите колонке «Алиса, запусти навык «Подбор сериала». Вам нужно будет сказать название любимого сериала, а голосовой помощник предложит вам несколько аналогичных вариантов, схожих по сюжету. В яблочко! Еще больше статей о голосовых ассистентах и умных колонках в нашем Яндекс.
Не забудьте подписаться! Краткий пересказ книги Читать полезно, но иногда жизненно необходимо быстро узнать краткое содержание Если бы Алиса существовала в мои школьные годы, то я бы сэкономил кучу времени! Вы знали, что голосовой ассистент имеет навык «Умный пересказ»? В ней доступны две категории: Лучшее и книги школьной программы.
Для этого вам необходимо сказать «Алиса, запусти умный пересказ» и далее выбрать категорию. Я, например, с удовольствием ознакомился с содержанием нескольких книг из школьной программы, которые читал очень давно. Зачем нужны две Яндекс. Кажется, я понял Как отправить сообщение на электронную почту Иногда вставать с рабочего места бывает лень — в некоторых делах мне помогает Яндекс.
Точнее, навык «Говорящая почта». Это удобный способ отправить сообщение в прямом смысле без рук.
Думаю, новую возможность особенно оценят авторы подкастов, у которых появилась ещё одна площадка», — рассказал Андрей Законов, руководитель голосового помощника. Шоу и новости доступны в «Яндекс.
Станции», «Станции Мини» и других умных колонках, где есть голосовой помощник «Алиса». Чтобы выбрать тематику новостей и подкастов, нужно просто открыть приложение Яндекс и сказать: «Алиса, открой настройки шоу» или «Алиса, открой настройки новостей».
Навык «Утреннее шоу» Алисы идеально подходит для людей, которые хотят быть в курсе всех новостей и интересных мероприятий. Вы можете активировать навык голосом и получать последние новости, прогноз погоды, мероприятия в вашем городе и музыкальные и книжные рекомендации. Кроме того, Алиса предлагает множество других навыков, которые вы можете использовать вместе с Утренним шоу.
Дело в том, что в машинном переводе как раз возникает проблема глобального контекста — смысл слов в разных языках может задаваться разным порядком или вообще разными структурами, поэтому порой для корректного перевода предложения нужно увидеть его целиком. Для решения этой задачи исследователи предложили механизм внимания — идея в том, чтобы рассмотреть всё предложение разом, но сфокусироваться через softmax-слой на небольшом числе «важных» токенов.
При генерации каждого нового выходного токена нейросеть смотрит на обработанные токены фонемы для речевого синтеза или символы языка для перевода входа и «решает», насколько каждый из них важен на этом шаге. Оценив важность, сеть учитывает её при агрегировании результатов и получает информацию для генерации очередного токена выхода. Таким образом нейросеть может заглянуть в любой элемент входа на любом шаге и при этом не перегружается информацией, поскольку фокусируется на небольшом количестве входных токенов. Для синтеза важна подобная глобальность, так как интонация сама по себе глобальна и нужно «видеть» всё предложение, чтобы правильно его проинтонировать. На тот момент для синтеза была хорошая seq2seq-архитектура Tacotron 2 — она и легла в основу нашей акустической модели. Мел-спектрограмма Параметрическое пространство можно сжать разными способами. Более сжатые представления лучше работают с примитивными акустическими моделями и вокодерами — там меньше возможностей для ошибок. Более полные представления позволяют лучше восстановить wav, но их генерация — сложная задача для акустической модели.
Кроме того, восстановление из таких представлений у детерминированных вокодеров не очень качественное из-за их нестабильности. С появлением нейросетевых вокодеров сложность промежуточного пространства стала расти и сейчас в индустрии одним из стандартов стала мел-спектрограмма. Она отличается от обычного распределения частоты звука по времени тем, что частоты переводятся в особую мел-частоту звука. Другими словами, мел-спектрограмма — это спектрограмма, в которой частота звука выражена в мелах , а не герцах. Мелы пришли из музыкальной акустики, а их название — это просто сокращение слова «мелодия». Строение улитки уха из Википедии Эта шкала не линейная и основана на том, что человеческое ухо по-разному воспринимает звук различной частоты. Вспомните строение улитки в ухе: это просто канал, закрученный по спирали. Высокочастотный звук не может «повернуть» по спирали, поэтому воспринимается достаточно короткой частью слуховых рецепторов.
Низкочастотный же звук проходит вглубь. Поэтому люди хорошо различают низкочастотные звуки, но высокочастотные сливаются. Мел-спектрограмма как раз позволяет представить звук, акцентируясь на той части спектра, которая значимо различается слухом. Это полезно, потому что мы генерируем звук именно для человека, а не для машины. Вот как выглядит мел-спектрограмма синтеза текста «Я — Алиса»: У мел-спектрограммы по одному измерению [X на рисунке выше] — время, по другому [Y] — частота, а значение [яркость на рисунке] — мощность сигнала на заданной частоте в определенный момент времени. Проще говоря, эта штуковина показывает, какое распределение по мощностям было у различных частот звука в конкретный момент. Мел-спектрограмма непрерывна, то есть с ней можно работать как с изображением. А так звучит результат синтеза: 3.
Новый вокодер Вероятно, вы уже догадались, что мы перешли к использованию нового нейросетевого вокодера. Именно он в реальном времени превращает мел-спектрограмму в голос. Наиболее близкий аналог нашего первого решения на основе нейросетей, которое вышло в 2018 году — модель WaveGlow. Архитектура WaveGlow основана на генеративных потоках — довольно изящном методе создания генеративных сетей, впервые предложенном в статье про генерацию лиц. Сеть обучается конвертировать случайный шум и мел-спектрограмму на входе в осмысленный wav-сэмпл. За счёт случайного шума на входе обеспечивается выбор случайной wav-ки — одной из множества соответствующих мел-спектрограмме. Как я объяснил выше, в домене речи такой случайный выбор будет лучше детерминированного среднего по всем возможным wav-кам. В отличие от WaveNet, WaveGlow не авторегрессионен, то есть не требует для генерации нового wav-сэмпла знания предыдущих.
Его параллельная свёрточная архитектура хорошо ложится на вычислительную модель видеокарты, позволяя за одну секунду работы генерировать несколько сотен секунд звука. Главное отличие, за счёт которого HiFi-GAN обеспечивает гораздо лучшее качество, заключается в наборе подсетей-дискриминаторов. Они валидируют натуральность звука, смотря на сэмплы с различными периодами и на различном масштабе. Как и WaveGlow, HiFi-GAN не имеет авторегрессионной зависимости и хорошо параллелится, при этом новая сеть намного легковеснее, что позволило при реализации ещё больше повысить скорость синтеза. Кроме того, оказалось, что HiFi-GAN лучше работает на экспрессивной речи, что в дальнейшем позволило запустить эмоциональный синтез — об этом подробно расскажу чуть позже. Схема HiFi-GAN из статьи авторов модели Комбинация этих трёх компонентов позволила вернуться к параметрическому синтезу голоса, который звучал плавно и качественно, требовал меньше данных и давал больше возможностей в кастомизации и изменении стиля голоса. Параллельно мы работали над улучшением отдельных элементов синтеза: Летом 2019 года выкатили разрешатор омографов homograph resolver — он научил Алису правильно ставить ударения в парах «зАмок» и «замОк», «белкИ» и «бЕлки» и так далее. Здесь мы нашли остроумное решение.
В русском языке эти слова пишутся одинаково, но в английском написание отличается, например, castle и lock, proteins и squirrels. Из этого представления легко выделить информацию о том, как произносить омограф, ведь перевод должен различать формы для корректного подбора английского варианта. Буквально на 20 примерах можно выучить классификатор для нового омографа, чтобы по эмбеддингу перевода понимать, какую форму нужно произнести. Летом 2020 года допилили паузер для расстановки пауз внутри предложения. Язык — хитрая штука. Не все знаки препинания в речи выражаются паузами Например, после вводного слова «конечно» на письме мы ставим запятую, но в речи обычно не делаем паузу. А там, где знаков препинания нет, мы часто делаем паузы. Если эту информацию не передавать в акустическую модель, то она пытается её выводить и не всегда успешно.
Первая модель Алисы из-за этого могла начать вздыхать в случайных местах длинного предложения. Для этого мы взяли датасет, разметили его детектором активности голоса, сгруппировали паузы по длительности, ввели класс длины паузы, на каждое слово навесили тэг и на этом корпусе обучили ещё одну голову внимания из тех же нейросетевых эмбеддингов, что использовались для детекции омографов. Осенью 2020 года мы перевели на трансформеры нормализацию — в синтезе она нужна, чтобы решать сложные случаи, когда символы читаются не «буквально», а по неким правилам. Например, «101» нужно читать не как «один-ноль-один», а как «сто один», а в адресе yandex. Обычно нормализацию делают через комбинацию взвешенных трансдьюсеров FST — правила напоминают последовательность замен по регулярным выражениям, где выбирается замена, имеющая наибольший вес. Мы долго писали правила вручную, но это отнимало много сил, было очень сложно и не масштабируемо. Тогда решили перейти на трансформерную сеть, «задистиллировав» знания наших FST в нейронку.
«Алиса» научилась вести утренние шоу
В конце 2020 года утреннее шоу Алисы стало персонализированным. Какие новости нужно выбирать, чтобы быть в курсе последних событий, но не утомляться излишним потоком информации? Множество полезных навыков для голосового помощника ждут вас в Каталоге навыков Алисы. — Выбирайте, что и в каком порядке слушать в Утреннем шоу Алисы: подкасты на избранные темы, прогноз погоды, навыки, треки или новости из определённых источников.
Утреннее шоу Алисы – получайте новости и полезную информацию каждое утро
Настройте Утреннее шоу для себя: выберите источники новостей, подкасты и даже гороскоп Зайдите в приложение Яндекс и выберите «Устройства»; Нажмите на вкладку «Настройки»; Выберите «Шоу Алисы». Утреннее шоу Алисы – получайте новости и полезную информацию каждое утро. «Алиса» научилась персонализировать «Утреннее шоу». Настройка частоты получения новостей позволит вам сделать использование навыка Алисы более удобным и эффективным, подстроив его под ваш ритм жизни.
Утреннее шоу Алисы – получайте новости и полезную информацию каждое утро
Чтобы активировать новую функцию нужно сказать: «Алиса, включи утреннее шоу! После этого голосовой помощник запустит прогноз погоды, расскажет, как провести время дома с пользой, включит подкасты, новости и музыку. В «Яндексе» говорят, что «Алиса» станет личным диджеем, поставит и прокомментирует треки из персонального плейлиста дня на «Яндекс.
Работало это следующим образом: На первом шаге мы использовали нейросетевую параметрику, чтобы синтезировать речь с нуля — подобному тому, как делали раньше. Напомню, что по качеству звучания результат нас не устраивал, но мог использоваться как референс по содержанию. На втором шаге другая нейросеть подбирала из базы фрагментов записанной речи такие, из которых можно было собрать фразу, достаточно близкую к сгенерированной параметрикой. Вариантов комбинаций фрагментов много, поэтому модель смотрела на два ключевых показателя.
Первый — target-cost, точность соответствия найденного фрагмента гипотезе, то есть сгенерированному фрагменту. Второй показатель — join-cost, насколько два найденных соседних фрагмента соответствуют друг другу. По сути, нужно было выбрать вариант, для которого сумма target-cost и join-cost минимальна. Эти параметры можно считать разными способами — для join-cost мы использовали нейросети на базе Deep Similarity Network, а для target-cost считали расстояние до сгенерированной параметрикой гипотезы. Сумму этих параметров, как и принято в unit selection, оптимизировали динамическим программированием. Кстати, подобный подход использовался и при создании Siri 2.
Схема конкатенативного синтеза У такого подхода тоже есть плюсы и минусы. Среди достоинств — более естественное звучание голоса, ведь исходный материал не синтезирован, а записан вживую. Правда, есть и обратная сторона: чем меньше данных, тем более грубо будут звучать места склейки фрагментов. Для шаблонных фраз всё более-менее хорошо, но шаг влево или вправо — и вы замечаете склейку. Поэтому нужно очень много исходного материала, а это требует многих часов записи голоса диктора. К примеру, в первые несколько лет работы над Алисой нам пришлось записать несколько десятков часов.
Это несколько месяцев непрерывной работы с актрисой Татьяной Шитовой в студии. При этом нужно не просто «прочитать текст по листочку». Чем более нейтрально будет звучать голос, тем лучше. Обычно от актёров ждут эмоциональности, проявления темперамента в своей речи. У нас ровно обратная задача, потому что нужны универсальные «кубики» для создания произвольных фраз. Вот характерный пример работы синтеза: В этом главный недостаток метода unit selection: несмотря на все усилия, фрагменты речи не будут идеально соответствовать друг другу по эмоциям и стилю.
Из-за этого сгенерированная речь Алисы постоянно «переключалась» между ними. На коротких фразах это не всегда заметно, но если хотите услышать произвольный ответ длиной хотя бы в пару предложений например, быстрый ответ из поиска , то недостатки подхода становятся очевидны. В общем, unit selection перестал нас устраивать и нужно было развиваться дальше. Иногда они возвращаются: опять параметрический синтез В результате мы вернулись к архитектуре из двух последовательных блоков: акустическая модель и вокодер. Правда, на более низком уровне обновилось примерно всё. Акустическая модель В отличие от старой параметрики, новую модель мы построили на основе seq2seq-подхода с механизмом внимания.
Помните проблему с потерей контекста в нашей ранней параметрике? Если нет нормального контекста, то нет и нормальной интонации в речи. Решение пришло из машинного перевода. Дело в том, что в машинном переводе как раз возникает проблема глобального контекста — смысл слов в разных языках может задаваться разным порядком или вообще разными структурами, поэтому порой для корректного перевода предложения нужно увидеть его целиком. Для решения этой задачи исследователи предложили механизм внимания — идея в том, чтобы рассмотреть всё предложение разом, но сфокусироваться через softmax-слой на небольшом числе «важных» токенов. При генерации каждого нового выходного токена нейросеть смотрит на обработанные токены фонемы для речевого синтеза или символы языка для перевода входа и «решает», насколько каждый из них важен на этом шаге.
Оценив важность, сеть учитывает её при агрегировании результатов и получает информацию для генерации очередного токена выхода. Таким образом нейросеть может заглянуть в любой элемент входа на любом шаге и при этом не перегружается информацией, поскольку фокусируется на небольшом количестве входных токенов. Для синтеза важна подобная глобальность, так как интонация сама по себе глобальна и нужно «видеть» всё предложение, чтобы правильно его проинтонировать. На тот момент для синтеза была хорошая seq2seq-архитектура Tacotron 2 — она и легла в основу нашей акустической модели. Мел-спектрограмма Параметрическое пространство можно сжать разными способами. Более сжатые представления лучше работают с примитивными акустическими моделями и вокодерами — там меньше возможностей для ошибок.
Более полные представления позволяют лучше восстановить wav, но их генерация — сложная задача для акустической модели. Кроме того, восстановление из таких представлений у детерминированных вокодеров не очень качественное из-за их нестабильности. С появлением нейросетевых вокодеров сложность промежуточного пространства стала расти и сейчас в индустрии одним из стандартов стала мел-спектрограмма. Она отличается от обычного распределения частоты звука по времени тем, что частоты переводятся в особую мел-частоту звука. Другими словами, мел-спектрограмма — это спектрограмма, в которой частота звука выражена в мелах , а не герцах. Мелы пришли из музыкальной акустики, а их название — это просто сокращение слова «мелодия».
Строение улитки уха из Википедии Эта шкала не линейная и основана на том, что человеческое ухо по-разному воспринимает звук различной частоты. Вспомните строение улитки в ухе: это просто канал, закрученный по спирали. Высокочастотный звук не может «повернуть» по спирали, поэтому воспринимается достаточно короткой частью слуховых рецепторов. Низкочастотный же звук проходит вглубь. Поэтому люди хорошо различают низкочастотные звуки, но высокочастотные сливаются. Мел-спектрограмма как раз позволяет представить звук, акцентируясь на той части спектра, которая значимо различается слухом.
Это полезно, потому что мы генерируем звук именно для человека, а не для машины. Вот как выглядит мел-спектрограмма синтеза текста «Я — Алиса»: У мел-спектрограммы по одному измерению [X на рисунке выше] — время, по другому [Y] — частота, а значение [яркость на рисунке] — мощность сигнала на заданной частоте в определенный момент времени. Проще говоря, эта штуковина показывает, какое распределение по мощностям было у различных частот звука в конкретный момент. Мел-спектрограмма непрерывна, то есть с ней можно работать как с изображением. А так звучит результат синтеза: 3.
Руководитель проекта "Алиса" Андрей Законов отмечает, что данное нововведение было сделано с той целью, чтобы Алису стали воспринимать не только как умного помощника с голосовым «интерфейсом», а как некоего виртуального компаньона, который может не только быть полезным в конкретных задачах, но и помогать приятно провести время в своей компании, тем более, в условиях сокращения социальных контактов. Станция включая версию Мини и других «умных колонках», поддерживающих Алису. Чтобы запустить данную программу, необходимо сказать кодовую фразу «Алиса, включи утреннее шоу».
Хотите начать заново — скажите "Меню". Возникли проблемы?
Следите за событиями Севастополя в режиме онлайн. Происшествия, новости культуры, спорта, политики и экономики Лента новостей Благовещенска Лента новостей Благовещенска — последние новости Благовещенска оперативно. Происшествия, новости культуры, спорта, политики и экономики Лента новостей Горного Алтая Лента новостей Горного Алтая — последние новости Горного Алтая оперативно.
Утреннее шоу «Алисы» стало персональным
Например, если вы обнаружили, что закончилась зубная паста, можно сразу же сказать об этом Алисе. Открыть список покупок в магазине можно со смартфона, тоже через Алису. Она составит списки задач, напомнит о них и удалит выполненные. Просто в любой момент вызовите Алису и сформулируйте для нее список дел из одного или нескольких пунктов.
А потом управляйте им: переносите задачи на завтра, удаляйте конкретные пункты, отмечайте те, что уже сделали.
Станции, Станции Мини и других умных колонках, где есть голосовой помощник Алиса. Чтобы выбрать тематику новостей и подкастов, нужно просто открыть приложение Яндекс, выбрать пункт «Устройства», далее выбрать «Аккаунт» и перейти в «Настройки шоу Алисы». А куда нажать? Это я к тому, что не плохо бы ссылочку или инструкцию какую то в конце сообщения.. Виталий Н.
Поэтому мы учим ее следить за новостями, развлекать пользователей и создавать приятную атмосферу в доме, и утреннее шоу — первый шаг в этом направлении», — говорит руководитель продукта Андрей Законов. Утреннее шоу доступно в Яндекс. Станции, Станции Мини и других умных колонках с Алисой.
Если нельзя синтезировать живую речь с нуля, нужно взять крошечные фрагменты речи человека и собрать из них любую произвольную фразу. Напомню, что в этом суть конкатенативного синтеза, который обычно ассоциируется с методом unit selection. Пять лет назад он уже давал наилучшее качество при достаточном количестве данных в задачах, где была нужна качественная речь в реальном времени. И здесь мы смогли переиспользовать нейросети нашей старой параметрики. Работало это следующим образом: На первом шаге мы использовали нейросетевую параметрику, чтобы синтезировать речь с нуля — подобному тому, как делали раньше. Напомню, что по качеству звучания результат нас не устраивал, но мог использоваться как референс по содержанию. На втором шаге другая нейросеть подбирала из базы фрагментов записанной речи такие, из которых можно было собрать фразу, достаточно близкую к сгенерированной параметрикой.
Вариантов комбинаций фрагментов много, поэтому модель смотрела на два ключевых показателя. Первый — target-cost, точность соответствия найденного фрагмента гипотезе, то есть сгенерированному фрагменту. Второй показатель — join-cost, насколько два найденных соседних фрагмента соответствуют друг другу. По сути, нужно было выбрать вариант, для которого сумма target-cost и join-cost минимальна. Эти параметры можно считать разными способами — для join-cost мы использовали нейросети на базе Deep Similarity Network, а для target-cost считали расстояние до сгенерированной параметрикой гипотезы. Сумму этих параметров, как и принято в unit selection, оптимизировали динамическим программированием. Кстати, подобный подход использовался и при создании Siri 2. Схема конкатенативного синтеза У такого подхода тоже есть плюсы и минусы. Среди достоинств — более естественное звучание голоса, ведь исходный материал не синтезирован, а записан вживую. Правда, есть и обратная сторона: чем меньше данных, тем более грубо будут звучать места склейки фрагментов.
Для шаблонных фраз всё более-менее хорошо, но шаг влево или вправо — и вы замечаете склейку. Поэтому нужно очень много исходного материала, а это требует многих часов записи голоса диктора. К примеру, в первые несколько лет работы над Алисой нам пришлось записать несколько десятков часов. Это несколько месяцев непрерывной работы с актрисой Татьяной Шитовой в студии. При этом нужно не просто «прочитать текст по листочку». Чем более нейтрально будет звучать голос, тем лучше. Обычно от актёров ждут эмоциональности, проявления темперамента в своей речи. У нас ровно обратная задача, потому что нужны универсальные «кубики» для создания произвольных фраз. Вот характерный пример работы синтеза: В этом главный недостаток метода unit selection: несмотря на все усилия, фрагменты речи не будут идеально соответствовать друг другу по эмоциям и стилю. Из-за этого сгенерированная речь Алисы постоянно «переключалась» между ними.
На коротких фразах это не всегда заметно, но если хотите услышать произвольный ответ длиной хотя бы в пару предложений например, быстрый ответ из поиска , то недостатки подхода становятся очевидны. В общем, unit selection перестал нас устраивать и нужно было развиваться дальше. Иногда они возвращаются: опять параметрический синтез В результате мы вернулись к архитектуре из двух последовательных блоков: акустическая модель и вокодер. Правда, на более низком уровне обновилось примерно всё. Акустическая модель В отличие от старой параметрики, новую модель мы построили на основе seq2seq-подхода с механизмом внимания. Помните проблему с потерей контекста в нашей ранней параметрике? Если нет нормального контекста, то нет и нормальной интонации в речи. Решение пришло из машинного перевода. Дело в том, что в машинном переводе как раз возникает проблема глобального контекста — смысл слов в разных языках может задаваться разным порядком или вообще разными структурами, поэтому порой для корректного перевода предложения нужно увидеть его целиком. Для решения этой задачи исследователи предложили механизм внимания — идея в том, чтобы рассмотреть всё предложение разом, но сфокусироваться через softmax-слой на небольшом числе «важных» токенов.
При генерации каждого нового выходного токена нейросеть смотрит на обработанные токены фонемы для речевого синтеза или символы языка для перевода входа и «решает», насколько каждый из них важен на этом шаге. Оценив важность, сеть учитывает её при агрегировании результатов и получает информацию для генерации очередного токена выхода. Таким образом нейросеть может заглянуть в любой элемент входа на любом шаге и при этом не перегружается информацией, поскольку фокусируется на небольшом количестве входных токенов. Для синтеза важна подобная глобальность, так как интонация сама по себе глобальна и нужно «видеть» всё предложение, чтобы правильно его проинтонировать. На тот момент для синтеза была хорошая seq2seq-архитектура Tacotron 2 — она и легла в основу нашей акустической модели. Мел-спектрограмма Параметрическое пространство можно сжать разными способами. Более сжатые представления лучше работают с примитивными акустическими моделями и вокодерами — там меньше возможностей для ошибок. Более полные представления позволяют лучше восстановить wav, но их генерация — сложная задача для акустической модели. Кроме того, восстановление из таких представлений у детерминированных вокодеров не очень качественное из-за их нестабильности. С появлением нейросетевых вокодеров сложность промежуточного пространства стала расти и сейчас в индустрии одним из стандартов стала мел-спектрограмма.
Она отличается от обычного распределения частоты звука по времени тем, что частоты переводятся в особую мел-частоту звука. Другими словами, мел-спектрограмма — это спектрограмма, в которой частота звука выражена в мелах , а не герцах. Мелы пришли из музыкальной акустики, а их название — это просто сокращение слова «мелодия». Строение улитки уха из Википедии Эта шкала не линейная и основана на том, что человеческое ухо по-разному воспринимает звук различной частоты. Вспомните строение улитки в ухе: это просто канал, закрученный по спирали. Высокочастотный звук не может «повернуть» по спирали, поэтому воспринимается достаточно короткой частью слуховых рецепторов. Низкочастотный же звук проходит вглубь. Поэтому люди хорошо различают низкочастотные звуки, но высокочастотные сливаются. Мел-спектрограмма как раз позволяет представить звук, акцентируясь на той части спектра, которая значимо различается слухом. Это полезно, потому что мы генерируем звук именно для человека, а не для машины.
Утреннее шоу от Алисы на Яндекс Станции
| Утреннее шоу «Алисы» стало персональным | В конце 2020 года утреннее шоу Алисы стало персонализированным. До публикации этой новости я мельком слышал про существование Алисы (видео, когда 2 телефона общаются между собой). |
| Шёпот и эмоции в Алисе: история развития голосового синтеза Яндекса | В конце 2020 года утреннее шоу Алисы стало персонализированным. До публикации этой новости я мельком слышал про существование Алисы (видео, когда 2 телефона общаются между собой). |
| «Алиса» начала проводить персональные утренние шоу в «умных» колонках — Сервисы на | Навык «Утреннее шоу» Алисы идеально подходит для людей, которые хотят быть в курсе всех новостей и интересных мероприятий. |
Утреннее шоу Алисы теперь можно настроить на свой вкус
Чтобы выбрать тематику новостей и подкастов, нужно просто открыть приложение Яндекс и сказать: «Алиса, открой настройки шоу» или «Алиса, открой настройки новостей». Особенностью Алисы стала личность, разработанная коллективом Яндекса вместе с журналистом и бывшим руководителем группы маркетинга компании Владимиром Гуриевым. Обновление Алисы также включает в себя улучшенное утреннее шоу: теперь там не только новости и музыка, но и короткие подкасты, даты в истории, мудрости и комплименты.
Утреннее шоу Алисы стало персональным
«Утреннее шоу» и новости радиостанций доступны во всех умных колонках с поддержкой «Алисы». Настройте Утреннее шоу для себя: выберите источники новостей, подкасты и даже гороскоп Зайдите в приложение Яндекс и выберите «Устройства»; Нажмите на вкладку «Настройки»; Выберите «Шоу Алисы». Для настройки новостей на колонке Алиса Яндекс, найдите раздел «Новости» или «Информация» и выберите его.