Перегляд вихідного коду сторінки Синтез співочого мовлення

'''Синтез співочого мовлення''' (Singing Voice Synthesis, SVS)&nbsp;— це процес створення звукового сигналу, який імітує [[Спів|людський спів]] за допомогою комп'ютерних програм та систем. Він містить аналіз і моделювання різних аспектів [[мовлення]], таких як мовний ритм, інтонація, артикуляція та інші параметри з метою створення аутентичного звукового висловлювання, подібного до вокалу людини<ref>{{Cite book
|title=Synthesis and expressive transformation of singing voice
|last=Ardaillon
|first=Luc
|year=2017
|location=Paris
|language=English
}}</ref>. Принципи SVS є похідними від [[Синтез мовлення|TTS]], проте вони мають помітні відмінності. Відомими системами подібного типу є [[Vocaloid|VOCALOID]], Sinsy, SynthV тощо.

== TTS vs SVS ==
Співоче мовлення покладає більший акцент на вокальну естетичність та емоційну передачу повідомлення, а не лише чіткість та розбірливість<ref>{{Cite book
|title=Феномен співочого мовлення. Мовні і концептуальні картини

світу.
|last=Гаврилюк
|first=В. В.
|year=2010
|location=Київ
|pages=119–124
|language=Українська
}}</ref>, що є ключовими критеріями [[Перцепція|перцептивної]] оцінки якості роботи систем голосового синтезу. Вокальний синтезатор потребує більше вхідної інформації (напр. висота та довжина [[ноти]], їхня чітка тривалість, темп, тактовий розмір) в додаток до заданого тексту для того, щоб генерувати голос, що дійсно імітує людський спів з особливою увагою користувача синтезатора до зміни [[Частота (значення)|частоти основного тону]] та довжини голосних [[Фонема|фонем]]. Таким чином, співоче мовлення більше фокусується на естетичних якостях, радше ніж на передачі змісту, на відміну від розмовного синтезу.
{| class="wikitable"
|+'''''Порівняльна таблиця TTS vs SVS'''''
!Характеристики TTS<ref>{{Cite book
|title=History and Development of Speech Synthesis.
|year=2006
|publisher=Helsinki University of Technology
}}</ref>
!Характеристики SVS
|-
|якість вимови
|якість вимови
|-
|натуральність звучання
|натуральність звучання
|-
|
|вокальна естетичність
|-
|
|відповідність музичному супроводу
|}
Тому синтез співочого мовлення потребує більшої [[Частота дискретизації|частоти дискретизації]] аудіо сигналу, порівняно з розмовним мовленням, для точної передачі емоційності звучання. Вихідні дані [[Синтез мовлення|TTS]] можуть мати частоту дискретизації на рівні 16-24 [[Герц|кГц]], але співоче мовлення потребує в цьому випадку в районі 48 кГц з ширшим діапазоном частот<ref>{{Cite book
|title=Singing Voice Analysis/Synthesis
|last=Youngmoo Edmund Kim
|year=2003
|publisher=Drexel University
|location=Philadelphia, PA, USA
}}</ref>. Ввідними даними для програми співочого синтезу може бути стандарт цифрового формату обміну музичною нотацією [[MIDI]] та текст, заданий у звичному вигляді або одразу як фонематична нотація. Можна зрозуміти, що для забезпечення генерації повноцінного, експресивного та ритмічного співочого голосу потрібно врахувати всі первинні необхідні характеристики співочого мовлення, які своєю чергою включають характеристики усного мовлення. По-перше, необхідно мати на увазі високі вимоги до деталізації [[Спектр|спектральної моделі]] звукового сигналу, який визначає акустичні особливості [[Артикуляція (мовознавство)|артикульованої]] вимови&nbsp;— це забезпечує досягнення адекватної якості звуку та натуральності відтворюваного голосу. По-друге, порівняно з TTS, більшу роль відіграє ефективна модель частоти основного тону, що уможливлює детальне моделювання [[Акустика|акустичних]] характеристик, а саме складного контура F0 [[Форманти звуків|форманти]] співу<ref>{{Cite book
|title=Review of end-to-end speech synthesis technology based on deep learning.
|last=Zhaoxi Mu, Xinyu Yang, Yizhuo Don
|year=2021
}}</ref>. Третьою, але не менш важливою, є модель тривалості, яка враховує ритмічні аспекти співу. Ця модель здатна оброблювати варіації у тривалості фонем, слів та фраз, що визначають ритмічну структуру співу. Вона дозволяє забезпечити відповідну артикуляцію та фразування, що допомагає досягти потрібного музичного ритму та акцентуації в співі.

== Мотивація до розробки ==
Створення синтезованого співочого мовлення є одним із перспективних напрямків розвитку галузі сучасного синтезу мовлення. Розробки в цій сфері почалися ще у [[70-ті|70-х]] роках [[XX століття|ХХ]] століття: німецький гурт [[Kraftwerk]] у [[1974]] році вперше в [[Електронна музика|електронній музиці]]<ref>{{Cite web|title=From Voder to Ovox: a history of vocal synthesis.|url=https://www.attackmagazine.com/features/long-read/from-voder-to-ovox-a-history-ofvocal- synthesis/|website=Attack Magazine|accessdate=2023-12-04|language=en-US|last=Douglas|first=Adam}}</ref> використали синтезований голос, що було реалізовано за допомогою механічного саморобного [[вокодер]]а.

З часів перших експериментів музична якість та натуральність таких голосів суттєво покращилась, та в наш час такі розробки вже набувають комерційного застосування. Технології SVS знаходять своє застосування у сучасному музичному виробництві, їх можуть використовувати з різних мотивів:


● Для запису пісень музикантами за відсутності вокаліста

● Для постобробки і корекції музичних записів за неможливості перезаписати аудіо вживу

● Для відновлення/реставрації музичних архівів

● Для відтворення виступів виконавців минулого

● Для продукування голосів, фізично складних для відтворення людьми



Сучасний SVS має за мету створення високоякісних та [[Експресія|експресивних]] співочих голосів на основі даних про музичний супровід. Інтерес до цієї теми зростає як у [[Музична індустрія|музичній індустрії]], так і наукових сферах, зокрема [[Машинне навчання|машинного навчання]] та обробки мовленнєвого сигналу. Загалом використання [[Штучна нейронна мережа|нейронних мереж]] у системах синтезу співочих голосів подібне до їх використання у системах синтезу усного мовлення. Перш за все, синтез співочого мовлення має важливе значення для суто [[Фонетика|фонетичних]] досліджень, оскільки на основі створеного таким чином матеріалу можна перевірити [[Гіпотеза|гіпотези]], що стосуються формування та сприйняття голосу, тобто здійснювати так званий «аналіз шляхом синтезу». Для досягнення цієї мети особливо доречними є підходи, що базуються на фізичному моделюванні або сигнальних моделях голосової продукції. Однак відносно нові підходи, засновані на [[Глибоке навчання|глибокому навчанні]], в яких моделюється лише звук, а не процес його створення, потребують використання інших методів.

Системи SVS також знаходять своє застосування в уникненні необхідності запису реального співака для виконання музичного нотного запису у випадках, коли відсутній співак з необхідними музичними навичками або бажаним тембром голосу, або коли умови для запису не сприятливі. Це особливо корисно для виробництва музики в домашніх студійних умовах. У цьому контексті вже застосовуються техніки синтезу для багатьох музичних інструментів, але досі недостатньо розвинуті для синтезу співу, попри те, що існують програми, такі як [[Vocaloid|VOCALOID]]<ref>{{Cite book
|title=Singing Synthesis: VOCALOID and its Technologies.
|last=Kenmochi, Hideki
|year=2008
|publisher=Journal of the Human Interface Society №10
|pages=161-164
}}</ref> та [[Synthesizer V]], які вже використовуються для цієї цілі.

Синтез співу дозволяє включати вокальні треки в композиції без необхідності володіти іншими засобами, окрім комп'ютера з відповідним програмним забезпеченням. Особливою перевагою є те, що композитор має контроль над [[тембр]]ом, [[Інтенсивність звуку|інтенсивністю]], [[Висота звуку|частотою основного тону]], налаштуванням [[вібрато]] та акцентів тощо. Наостанок, особливий інтерес використання синтезу голосу полягає також у можливості вийти за межі доступних людських голосів, наприклад синтезувати такі контури частоти основного тону зі складними ритмами або інтервалами, які були б дуже важкими для виконання реальним співаком. Також може виникнути бажання розширити діапазон співака, інтерполювати між різними голосами та стилями співу. Існує й безліч інших прикладних застосувань SVS-систем, наприклад у сфері [[Відеогра|відеоігор]] чи мобільних застосунків<ref>{{Cite book
|title=Singing Voice Synthesis: History, Current Work, and Future
Directions.
|last=Perry R. Cook
|year=1996
|publisher=Computer Music Journal Vol. 20, No. 3
|pages=38-46
}}</ref>.

Таке різноманіття задач ще раз підтверджує актуальність таких розробок та спонукає до створення прототипу саме [[Українська мова|українськомовної]] системи SVS, яка б у перспективі могла покривати вище описані та багато інших проблем.
== Примітки ==
{{reflist}}

== Посилання ==
{{Бібліоінформація}}
[[Категорія:Музичні інструменти]]
[[Категорія:Звукозапис]]
[[Категорія:Історія музики]]