| Автор |
Повідомлення |
Cartwright
VIP
З нами з: 23.03.13
Востаннє: 09.12.24
Повідомлень: 705
|
 2023-09-14 06:39 |
Схоже цей день настав. Вже з'явилась перша нейромережа (Rask), яка автоматично перекладає та копіює голоси з інших мов на українську мову. Навіть взяв відрізок з американського фільму та випробував. Перекладає хоч і з помилками, проте є можливість вносити виправлення. Зате голоси виходять практично ідентичні оригіналу. До того ж накладається як дубляж. Єдиний недолік це неспівпадіння губ, проте це не є проблемою, якщо це розглядати не як дубляж, а озвучку (в нас уже були фільми та серіали, де так само накладали офіційні дубляжі, й якось більшості було ок). Та й з часом проблема з губами може бути вирішена, як в іншій нейромережі.
Потенційно, якщо заморочитися, то можна зробити повну та доволі непогану за якістю озвучку до будь-якого фільму чи серіалу. А для початку можна за допомогою нейромережі додати до розширених версій фільмів відсутні відрізки без озвучень (і це буде на голову вище за наявні фанатські припаяні доозвучки).
Ціна звісно кусається, проте навіть це можна спробувати обійти шляхом використання купи пошт.
Все йде до того, що нейромережі скоро будуть правити озвучкою фільмів та серіалів. При всій повазі до наших акторів, проте це те, як і має все бути. |
|
|
|
 |
21jumpstreet
VIP
З нами з: 03.07.12
Востаннє: 12.12.24
Повідомлень: 3700
|
| 2023-09-14 06:46 |
Не буде так. |
|
|
|
|
igor911
Модератор відео
З нами з: 18.01.08
Востаннє: 12.12.24
Повідомлень: 17151
|
| 2023-09-14 07:29 |
| Cartwright написано: | | Вже з'явилась перша нейромережа (Rask) |
Heygen ( https://app.heygen.com/guest/home ) вміє перекладати відео, зберігаючи ваш голос і навіть синхронізуючи рух губ.
Купа мемів останніх днів (я бачив з гіркіним українською та допою англійською) створені в ній.
Додано через 7 хвилин 23 секунди:
|
|
|
|
|
Колодій Трейлерів
VIP
З нами з: 11.06.22
Востаннє: 12.12.24
Повідомлень: 465
|
| 2023-09-14 08:40 |
Мені такі новини не подобаються  Для початку нехай нейромережа робить безпомилковий переклад та автоматичні субтитри з таймінгом, оце б поліпшило життя та пришвидшило швидкість озвучки до всіх релізів. Не вигадали ще таке?) |
|
|
|
|
Altron320
VIP
З нами з: 08.05.20
Востаннє: 12.12.24
Повідомлень: 1942
|
| 2023-09-14 08:42 |
| Колодій Трейлерів написано: | | Не вигадали ще таке?) |
На щастя, ні ще. |
|
|
|
|
21jumpstreet
VIP
З нами з: 03.07.12
Востаннє: 12.12.24
Повідомлень: 3700
|
| 2023-09-14 09:00 |
І не вигадають найближчим часом. Може через десятиліття? |
|
|
|
|
teehor
VIP
З нами з: 07.11.17
Востаннє: 11.12.24
Повідомлень: 555
|
| 2023-09-14 14:41 |
Так, але української там немає. Та й тестовий уривок (безкоштовний) не захотіло показувати, вже після опрацювання пише "черзі"
Додано через 1 хвилину 2 секунди:
Та й це бета, яка з*явилась нещодавно. Тобто, за мінімум 1-2 роки буде щось в бета, щоб мати шанс робити це повноцінно хоча б якось
Додано через 1 хвилину 2 секунди:
Там і так ціна зашквар
Виходить за 120хвилин дубльованих - близько $200
Краще вже закадрове проф озвучення замовити за цю суму |
|
|
|
|
Cartwright
VIP
З нами з: 23.03.13
Востаннє: 09.12.24
Повідомлень: 705
|
| 2023-09-14 15:00 |
| igor911 написано: | | Купа мемів останніх днів (я бачив з гіркіним українською та допою англійською) створені в ній. |
Там немає української. Відповідно на українську Heygen не здатен перекладати. Стосовно відео з Гіркіним, то його було зроблено в Rask.
Додано через 1 хвилину 5 секунд:
| Колодій Трейлерів написано: | | автоматичні субтитри з таймінгом, оце б поліпшило життя та пришвидшило швидкість озвучки до всіх релізів. Не вигадали ще таке?) |
В Rask переклад редагується з таймінгом як субтитри. |
|
|
|
|
teehor
VIP
З нами з: 07.11.17
Востаннє: 11.12.24
Повідомлень: 555
|
| 2023-09-14 15:12 |
| Колодій Трейлерів написано: | | автоматичні субтитри з таймінгом |
А ви як перекладаєте? Хіба не через оригінальний готовий файл субтитрів з таймінгами?
Додано через 54 секунди:
| Cartwright написано: | | При всій повазі до наших акторів, проте це те, як і має все бути. |
По секрету розкажу, що дехто вже використовує сучасні ресурси) |
|
|
|
|
Cartwright
VIP
З нами з: 23.03.13
Востаннє: 09.12.24
Повідомлень: 705
|
| 2023-09-16 18:28 |
Ще одна цікава нейромережа це RVC. Тільки на відміну від Rask та Heygen не є автоматизованою і потрібно все робити самому, а саме записувати свій голос, тренувати модель на потрібний голос, а потім вже збирати все в самій нейромережі. Хоча варто відзначити, що якість на виході доволі висока. І таким хоч трохи довгим та нудним чином можна озвучувати будь-якими голосами. Навіть взяти голоси акторів дубляжу та доробити пропущену озвучку для розширених версій фільмів.
Ідейно це все можна пробувати й отримувати на виході ще якісніші релізи, які потім будуть красти наші стрімінги. Головне це наявість часу та бажання цим займатись. |
|
|
|
|
Willox
VIP
З нами з: 09.07.19
Востаннє: 11.12.24
Повідомлень: 308
|
| 2023-09-16 18:34 |
| Cartwright написано: | | Головне це наявість часу та бажання цим займатись. |
Головне упустили - хорошу відеокарту 
Я пробував гратись тією RVC, дійсно непогані результати виходять, але щоб якісно натренувати модель треба щось з лінійки 30XX, або 40XX, і залишити варитись на ніч
І, насправді, ідея з розширеними версіями дуже хороша, адже за наявності людини, котра зможе імітувати розмовну манеру актора дубляжу, і потрапляти в таймінги, можна створити настільки якісний шматок доріжки, що ніхто й не помітить, що сам голос зроблено нейромережею. |
|
|
|
|
teehor
VIP
З нами з: 07.11.17
Востаннє: 11.12.24
Повідомлень: 555
|
| 2023-09-16 18:40 |
| Willox написано: | | ніхто й не помітить, що сам голос зроблено нейромережею. |
100%  |
|
|
|
|
21jumpstreet
VIP
З нами з: 03.07.12
Востаннє: 12.12.24
Повідомлень: 3700
|
| 2023-09-16 18:44 |
teehor
10% |
|
|
|
|
teehor
VIP
З нами з: 07.11.17
Востаннє: 11.12.24
Повідомлень: 555
|
| 2023-09-16 18:50 |
| 21jumpstreet написано: | | 10% |
Чому 10?) |
|
|
|
|
21jumpstreet
VIP
З нами з: 03.07.12
Востаннє: 12.12.24
Повідомлень: 3700
|
| 2023-09-16 18:55 |
teehor
Бо штучний інтелект треба дороблять років 10. Та й голоси не замінить оригінал. |
|
|
|
|
teehor
VIP
З нами з: 07.11.17
Востаннє: 11.12.24
Повідомлень: 555
|
| 2023-09-16 18:59 |
| 21jumpstreet написано: | | Бо штучний інтелект треба дороблять років 10. Та й голоси не замінить оригінал. |
Те, що потрібно доробляти це факт, але ми вже це робимо і виходить доволі не зле) |
|
|
|
|
Cartwright
VIP
З нами з: 23.03.13
Востаннє: 09.12.24
Повідомлень: 705
|
| 2023-09-16 19:04 |
| 21jumpstreet написано: | | Та й голоси не замінить оригінал. |
Ну не знаю. Я взяв відео з Двейном Джонсоном, вкинув в нейромережу, і він зазвучав наче дійсно українську мову вивчив. Технологія вже є. Єдине, що будуть робити в найближчі роки це полірувати готовий продукт, щоб його купували студії. Важко щось вигадати ще більш інноваційне за той же Heygen. Швидше розширять та ще більше спростять функціонал наявних нейромереж. Плюс звісно поліпшать якість на виході. |
|
|
|
|
Willox
VIP
З нами з: 09.07.19
Востаннє: 11.12.24
Повідомлень: 308
|
| 2023-09-16 19:07 |
| 21jumpstreet написано: | | Бо штучний інтелект треба дороблять років 10. Та й голоси не замінить оригінал. |
Та ніхто ж не говорить про повноцінний дубляж фільму, бо на даному етапі це дійсно неможливо, адже жоден штучний інтелект не зможе якісно імітувати надзвичайно широкий спектр емоцій.
Але якщо ми ставимо за ціль створення невеличких шматків доріжок для розширених версій (до 5 хвилин загального хронометражу), то це уже цілком реально. Нарізаємо репліки актора (з цього ж фільму), навчаємо нейромережу запам'ятати цей голос на основі нарізаних реплік, записуємо відсутні репліки голосом іншої людини, переносимо голос актора на запис, готово.
І за умови достатньої тривалості навчання (кількості епох), великої кількості навчального матеріалу (хоча б 10 хвилини чистих реплік), та загальної схожості відсутніх реплік до тих, що були в навчальному наборі даних, можна отримати дуже якісний результат. |
|
|
|
|
teehor
VIP
З нами з: 07.11.17
Востаннє: 11.12.24
Повідомлень: 555
|
| 2023-09-16 19:45 |
| Willox написано: | | жоден штучний інтелект не зможе якісно імітувати надзвичайно широкий спектр емоцій. |
Але що, якщо ми говоримо про суміш людського втручання та ШІ?) Коли мова йде просто про заміну голосу, який накладений на вже створену емоцію та слова)
Це вже не так неможливо, правда?) |
|
|
|
|
Willox
VIP
З нами з: 09.07.19
Востаннє: 11.12.24
Повідомлень: 308
|
| 2023-09-16 19:48 |
| teehor написано: | | Але що, якщо ми говоримо про суміш людського втручання та ШІ?) Коли просто йде заміна голосу, яка накладена на вже створену емоцію та слова) |
Ну ось RVC якраз і про це, але як на мене, то тут основна проблема в тому, що ШІ не відтворить широкий спектр емоцій без дуже якісного навчального набору. Відтворити звичайну розмову не складно, але якщо мова йде про якийсь вигук, шепіт, чи протяжну вимову, то будуть з'являтись артефакти. |
|
|
|
|
teehor
VIP
З нами з: 07.11.17
Востаннє: 11.12.24
Повідомлень: 555
|
| 2023-09-16 19:51 |
| Willox написано: | | Відтворити звичайну розмову не складно, але якщо мова йде про якийсь вигук, шепіт, чи протяжну вимову, то будуть з'являтись артефакти. |
Тому ми і використовуємо його для закадрового озвучення)
Ось, до прикладу, трейлер озвучений людиною (чоловік в оригіналі), на яку ми потім наклали голоси інших акторів:
|
|
|
|
|
Willox
VIP
З нами з: 09.07.19
Востаннє: 11.12.24
Повідомлень: 308
|
| 2023-09-16 20:00 |
| teehor написано: | | Ось, до прикладу, трейлер озвучений людиною (чоловік в оригіналі), на яку ми потім наклали голоси інших акторів: |
Круто, що використовуєте технології, і результат дійсно непогнаий, але й критики відсипати є куди
Може в мене присутня певна упередженість від знання самого факту, що це робота нейромережі, але певні артефакти відчуваються, є трохи монотонності, і не вистачає емоцій. Але хотілось би почути деталі - яку модель використовували, як довго тренували, і чим викликаний сам нюанс з емоціями - лімітованістю моделі, чи особливостями закадру? |
|
|
|
|
teehor
VIP
З нами з: 07.11.17
Востаннє: 11.12.24
Повідомлень: 555
|
| 2023-09-16 20:07 |
| Willox написано: | | особливостями закадру |
В закадрі сильно не "розіграєшся") Там же важливо чути і емоції оригіналу) Плюс, деякі моделі у нас ще на "бета тестуванні", якщо так можна сказати)
Тренували власні моделі, Настя Каменських, Богдан Коник, Сергій Філатов, Єлизавета Мастаєва тощо
Виявили, що найкраще використовувати 300-600 епох, більше сенсу немає. Тут фішка у матеріалі сирому, наскільки він якісний. Наскільки чистий, тривалість, емоційний спектр тощо. Від цього найбільше залежить якість моделі. |
|
|
|
|
Кач
VIP
З нами з: 12.05.14
Востаннє: 12.12.24
Повідомлень: 365
|
| 2023-09-17 11:21 |
| Цитата: | | І, насправді, ідея з розширеними версіями дуже хороша, адже за наявності людини, котра зможе імітувати розмовну манеру актора дубляжу, і потрапляти в таймінги, можна створити настільки якісний шматок доріжки, що ніхто й не помітить, що сам голос зроблено нейромережею. |
Також можна залатати багато прогалин, наприклад в озвучках серіалів/фільмів/мультсеріалів.
Фрагменти якоїсь серії чи частини фільму, яка була зіпсована через дроп чи щось типу цього, або взагалі не показана каналом і так далі. Наприклад озвучка 90-х, якийсь фрагмент, який вже не можливо замінити через запис(актора немає, або голос дуже різниться тоді і зараз, просто каналом втрачений оригінал тощо). Так це відкриває дуже великі можливості, особливо в нашій країні)
А те що зараз ця технологія не досконала, так то нічого, на початку минулого століття деякі технології, що зараз є буденністю здавались би неможливими(наприклад фільми з спец ефектами тощо), тому думаю що прийде час допилять, тим більше це людей цікавить, а плюс до цього воно розвивається.
Тут питання як народ буде ставитись до цієї тихнології коли її допилять, бо коли можна буде копіювати голос іншої людини, це може викликати також як і позитив так і негатив, наприклад на початку двадцятого століття людям не подобалось, що на заводах масово впроваджують машини, так і тут може бути збурення. Та й взагалі цікаво буде бачити ставлення до штучного інтелекту, наприклад роботів(коли їх дороблять до робочого стану). Бо деякі люди он агресивно виступали проти 5 джі, хоча його ще не існує, а як би й був то не приніс шкоди, але деякі люди вірять. Ну і плюс, ще як це буде регулюватись на законодавчому рівні, як не як копія голосу відкриває багато можливостей(не тільки приколів). Але загалом як би не довбойоби на планеті(типу кацапів) думаю що розвиток тихнологій було б споглядати набагато приємніше, або взагалі розвиток пішов набагато вперед. |
|
|
|
|
DDBj
VIP
З нами з: 09.01.12
Востаннє: 25.11.24
Повідомлень: 1217
|
| 2023-09-17 12:03 |
Кач
Як мало ви торкнулися етичного питання. Так, ситуація така, що школяр сьогодні може зварґанити рекламний ролик унітазів голосом Богдана Ступки. Його рідним мають телефонувати й питати дозволу? А коли ви лататимете фрагменти "голосом" якогось актора ви будете його запитувати, якщо він живий, чи його рідних чи хай йдуть зі своєю думкою, у нас тут прогрес.
Так, технології відкривають безліч можливостей. Так, найближчим часом буде вал цифрових клонів не лише у звуці. У якомусь "Аватарі-8", можливо, зніметься "Джон Вейн" поряд з "Брюсом Віллісом" й вони "говоритимуть" українською своїм тембром й манерою.
Але мине років двадцять й на афішах усе частіше з'являтиметься напис "За участі живих акторів". І це буде новий тренд. А поки так, вступаємо в епоху клонування на хайпі. Пристебніться) |
|
|
|
|
Кач
VIP
З нами з: 12.05.14
Востаннє: 12.12.24
Повідомлень: 365
|
| 2023-09-17 14:08 |
| Цитата: | | Як мало ви торкнулися етичного питання. Так, ситуація така, що школяр сьогодні може зварґанити рекламний ролик унітазів голосом Богдана Ступки. Його рідним мають телефонувати й питати дозволу? А коли ви лататимете фрагменти "голосом" якогось актора ви будете його запитувати, якщо він живий, чи його рідних чи хай йдуть зі своєю думкою, у нас тут прогрес. |
Щодо реклами то думаю будуть запитувати, бо це вже офіційно(авторське право). У родича Толкіна запитують, та купляють дозвіл на його творчість. А якщо не будуть до будуть судитися родичі. Може бути щось схоже як зараз у світі з авторським правом(як із будь якою творчою власністю).
Якщо ж говорити про релізи та трекер. А зараз запитують дозволу в каналів коли виставляють тут релізи з їхньою озвучкою? От так буде й тут. Тим більше якщо це буде якийсь фрагмент до вже існуючої озвучки. Але якщо це наприклад цілий сезон, то можна домовитись з актором який працював над попередніми, про дозвіл на використання голоса, думаю можливо(деякі приймають участь в неофійних озвучках, а тут ще й робити йому нічого не треба). Зважаючи на те, що в нас в країні не завжди до всього є озвучка, така технологія буде дуже великим плюсом(звичайно коли її допилять).
А стосовно закону малось наувазі щось типу як з клонуванням яке свого часу внесло ООН. Тут щось подібне теж може бути, не всенсі повної заборони, а якогось регулювання. Але це вже більші маштаби та це дуже не скоро, можливо буде коли все це дороблять, та коли подібна тихнологія стане чимось буденним.
| Цитата: | | Так, технології відкривають безліч можливостей. Так, найближчим часом буде вал цифрових клонів не лише у звуці. У якомусь "Аватарі-8", можливо, зніметься "Джон Вейн" поряд з "Брюсом Віллісом" й вони "говоритимуть" українською своїм тембром й манерою. |
Для України це плюс, бо в нас завжди було мало україномовного контенту, або якщо правельніше сказати недостатньо в порівняні з іншими. І тому якщо наприклад зявиться можливість хоч трохи полегшити роботу в перекладі літератури то чому ні. Хай навіть це буде не повний переклад, а там частина(чернетка для роботи), редактура і так далі. Якщо це заощадить час, пришвидшить роботу, полегшить процес, це вже як на мене плюс.
А ще ті люди які не знають англійської можуть почути оригінальних акторів, це що стосується фільмів.
| Цитата: | | Але мине років двадцять й на афішах усе частіше з'являтиметься напис "За участі живих акторів". І це буде новий тренд. А поки так, вступаємо в епоху клонування на хайпі. Пристебніться) |
Може й менше. Зараз все швидше йде ніж десь років двадцять назад, може помиляюсь, але мені так здається. Хіба тільки не буде якоїсь ситуації(повної дупи) що все відкатиться назад. |
|
|
|
|
DDBj
VIP
З нами з: 09.01.12
Востаннє: 25.11.24
Повідомлень: 1217
|
| 2023-09-17 15:55 |
Кач
Маєте рацію.
| teehor написано: | | Виявили, що найкраще використовувати 300-600 епох, більше сенсу немає. |
А скільки це по часу приблизно вариться? Добу чи там більше діб? |
|
|
|
|
Kinoword
Попереджень: 1
З нами з: 26.03.23
Востаннє: 12.12.24
Повідомлень: 1505
|
| 2023-09-17 16:01 |
Cartwright
Чисто моя думка це не погано але і фігово так як Сто процентів будуть студії які будуть робити збори на озвучення фільма Серіала Аніме і т.к ставити великі ціники в 20к грн а то і більше аргументуючи професійним перекладом та акторами яким треба теж Платити а самі будуть перекладати та Озвучувати через Нейромережу а ми наївні будемо кидати на це все діло свої Кровно зароблені Гроші та думати що там реально професійний Переклад та професійні Актори |
|
|
|
|
Altron320
VIP
З нами з: 08.05.20
Востаннє: 12.12.24
Повідомлень: 1942
|
| 2023-09-17 16:54 |
| Kinoword написано: | | Чисто моя думка це не погано але і фігово так як Сто процентів будуть студії які будуть робити збори на озвучення фільма Серіала Аніме і т.к ставити великі ціники в 20к грн а то і більше аргументуючи професійним перекладом та акторами яким треба теж Платити а самі будуть перекладати та Озвучувати через Нейромережу а ми наївні будемо кидати на це все діло свої Кровно зароблені Гроші та думати що там реально професійний Переклад та професійні Актори |
Або їм зібрати не вдасться, або після першого ж збору їх спалять на цьому. Технологія ще далеко не досконала. |
|
|
|
|
teehor
VIP
З нами з: 07.11.17
Востаннє: 11.12.24
Повідомлень: 555
|
| 2023-09-17 17:15 |
| DDBj написано: | | А скільки це по часу приблизно вариться? Добу чи там більше діб? |
Якщо взяти до прикладу сирець на 17 хв, натренувати на найкращому способі, це близько 38-39 секунд/епоху на відеокарті 30ХХ серії. Якщо ніякі інші процеси не будуть заважати роботі, що використовують GPU, то це близько 3-6 годин тренуватиметься. |
|
|
|
|
