Інструкції для роботи із субтитрами

Цей етап можна виконати безліччю способів, усе залежить від того, якими інструментами ви володієте. Для створення релізу, звичайно, потрібно знайти відео найкращої якості, але для демонстрації обмежимось звичайним варіантом з YouTube.

Для прикладу, візьмемо це відео:
Так як ми працюємо з відео з YouTube, то можна одразу завантажити лише аудіодоріжку. Я використовував yt-dlp, хоча для подібного сценарію можна використати будь-який онлайн сервіс за запитом yt2mp3 (YouTube to mp3).



Якщо ж у вас на руках є відеофайл, то на цьому етапі можна використати ffmpeg, чи якусь програму з графічним інтерфейсом, яка вам більш до вподоби. Головне - отримати аудіодоріжку, з якою працюватимемо.

В подальшому, отриманий аудіфайл згадуватиметься як "audio.m4a". Свій файл можете назвати інакше. Розширення теж може бути довільним (але перевіряв лише на m4a).

Що таке OpenAI Whisper?

OpenAI Whisper це модель автоматичного розпізнавання мови, яку навчили на 680 000 годинах аудіо. Вона підтримує безліч різних мов (в тому числі й українську), і основна її задача перетворювати аудіо в текст (як субтитри, так і просто звичайний текст).

Це, насправді, все що про неї треба знати. Не потрібно заглиблюватись в те як ця модель працює, достатньо просто сприймати її як певний ящик, в який ми будемо закидати аудіо та отримувати на виході текст.

Що потрібно знати перед початком роботи?

Для роботи з цією моделлю потрібно всього дві речі - хорошу відеокарту та певний рівень володіння комп'ютером (бажано, звичайно, мати поверхневе розуміння мов програмування). Але я спробую спростити все настільки, наскільки можливо, при цьому прибравши потребу в обох умовах

Для чого потрібна відеокарта?

Відеокарта (GPU) потрібна для роботи моделі нейронної мережі. Вона виконуватиме купу розрахунків, які й перетворюватимуть аудіо на текст. Всі вони можуть виконуватись і за допомогою процесора (CPU), але тобі процес триватиме дуже довго.

Що робити якщо в мене немає відеокарти?

Насправді, це не проблема. У цьому прикладі я використовуватиму Google Colab (Colaboratory), це сервіс від Google, який абсолютно безкоштово надає доступ будь-якому користувачу до обчислювальних ресурів, в тому числі й до відеокарт. Звісно, є певні обмеження, але для нас безкоштовних ресурсів має вистачити з головою.

Чому саме Colaboratory?

Причини всього дві:
1) Далеко не у всіх є дорогі та хороші відеокарти.
2) Використання Colab дозволяє оминути велику кількість технічних моментів та відкинути потребу в складних процесах попередніх налаштувань і підготовки.

Звичайно, якщо у вас є потужна відеокарта на кшталт RTX 3060, то буде більш раціонально проводити всі операції локально, але Google абсолютно безоплатно надає доступ до відеокарт, які значно кращі за ті, що є у середньостатистичного користувача, тому користуємось цим варіантом.

Що робити якщо я погано володію комп'ютером?

Не хвилюйтесь, спробую подати все якомога простіше, у вас все вийде

Більш детальна інформація про OpenAI Whisper знаходиться на GitHub, але поки має вистачити того, що тут написано.

1. Для початку йдемо на свій Google диск та створюємо там папку, в якій будемо працювати.

Заходимо на диск та натискаємо кнопку "Створити".



Обираємо пункт "Нова папка".



Вводимо назву та натискаємо "Створити".



2. Переходимо в цю папку і завантаєумо туди аудіо, яке треба перетворити на субтритри (його ми отримали раніше).



3. Створюємо "блокнот" (файл Google Colabratory).



На цьому етапі у вас може не бути опції "Google Colaboratory". Тоді обираєте опцію "Підключити інші додатки", в пошуку пишемо "Colab", та додаємо його.



4. Після того як ви натиснете "Створити", вас переадресує до наступного вікна:



5. Перше, що потрібно зробити - підключити відеокарту. Для цього натискаємо Runtime -> Change Runtime Type



У вікні обираємо Runtime Type обираємо Python 3, а в Hardware Accelerator - GPU. Після цього натискаємо Save.



6. Далі потрібно написати код (можна скопіювати мій нижче, в ньому потрібно буде виправити поля зі шляхами, якщо використовували відмінні від моїх)

Результат на скріншоті:



Увесь потрібний код в спойлерах, можна звірятись зі скріншотом вище. Прохання звернути увагу на табуляцію (або пробіли, немає різниці), на етапі запису до файлу, бо спойлери прибирають проібли/табуляцію. 7. Все готово, натискаємо Runtime -> Run all, аби запустити код



8. Скоріш за все Colab попросить доступ до гугл диску, надаємо йому його, аби він міг отримати доступ до аудіофайлу та зберегти пізніше туди субтитри.



9. Чекаємо близько 7-ми хвилин, поки Google Colab завантажить модель та проведе транскрипцію аудіо. Тривалість залежить від розміру аудіофайлу.

Коли процес буде завершено, то біля усіх прямокутників з кодом з'являться зелені галочки.



А у папці, яку ми створили раніше, з'явиться файл з субтитрами.



На цьому все, дякую за увагу.