| Автор |
Повідомлення |
ALFROMEDA
Відео Гуртом - підтримка та поширення
З нами з: 09.07.12
Востаннє: 31.10.24
Повідомлень: 461
|
 2016-06-29 18:07 |
Представляю фільтр фільмів - https://tf.auct.eu - сторінка усіх фільмів з toloka.to, що є в imdb, з можливістю фільтру.
Оновлення відбувається кожні 6 годин автоматично.
В базі включені тільки фільми, що є на imdb. (і я не планую додавати фільми без нього).
Історія для швидкого фільтру фільмів давно вже думав, щось зробити.
Побачивши деякі повідомлення про таке, вирішив зробити.
Найважче було вручну вписування imdb id темам (що не мають посилання на imdb_id). Про систему Наразі атоматизовано додавання нових релізів, якщо вони мають картинку рейтингу Imdb 
Також налаштоване додавання анонсів. Зними все буде гаразд. Якщо вони перейдуть в релізи - скрипт додасть в базу.
Щодо автоматичної українізації - з цим все не дуже добре.
Українізація відбувається з джерелу themoviedb. Якщо там нема фільму українського назва буде взята з найпершого релізу, витягується все до символу "/" або "(". Описи при цьому автоматом не витягує скрипт.
Зараз 47% з майже 10к "українізовано" з джерел наповнення, решта методом витягнення назви з першого релізу. Принцип роботи:
Кожні 6 годин скрипт перевіряє анонси релізів (наявних в базі) чи вони не перейшли в розділи релізів. Якщо так - додає в базу фільм та мітить тему як реліз.
Після цього з головної сторінки толоки береться найновіша тема і скрипт парсить всі теми від останньої в базі скрипта до цієї найновішої. При цьому ліміт становить 200 (на всяк випадок). В базу додаються тільки розділи з релізами фільмів, анонси помічаються як анонси.
Всі теми, що скрипт додав, якщо воно має imdb_id скрипт витягує інформацію з omdbapi.com.
Потім по локальній базі (9к українізованих фільмів з Moviebase) та через витягнення української назви, опису з themoviedb.org. Тих фільмів, котрих нема - скрипт тяне українську назву з заголовку першого релізу. Джерела наповнення: omdbapi.com
themoviedb.org
moviebase (програма, звідти 2к укр назв та описів витянув) Важливо: При створенні релізів додавати кнопку рейтингу imdb. Тільки так ваш реліз з'явиться у фільтрі фільмів.
Якщо хтось хоче українізувати фільм:
Той, що вже є в базі - зайдіть на themoviedb.org і там українізуйте + на мені на пошту скиньте лінки на ці фільми в themoviedb.org.
Якщо нема на толоці - перед створенням релізу - прохання додати українську назву, опис та постер в themoviedb.org, перед створенням. Таким чином скрипт автоматом витягне цю інформацію собі.
Якщо адміни толоки захочуть фільтр на своєму домені - з радістю віддам скрипти (там по суті не більше 10файлів та базу данних mysql ~25mb.) |
|
|
|
 |
igor911
Модератор відео
З нами з: 18.01.08
Востаннє: 30.10.24
Повідомлень: 17151
|
| 2016-06-29 21:05 |
ALFROMEDA, а де українська назва та укр.опис?
Додано через 1 хвилину 49 секунд:
до деяких є обидві назви, до деяких лише оригінальна.
Додано через 8 хвилин 4 секунди:
Дякую! |
|
|
|
|
ALFROMEDA
Відео Гуртом - підтримка та поширення
З нами з: 09.07.12
Востаннє: 31.10.24
Повідомлень: 461
|
| 2016-06-29 22:09 |
Те, що автоматом з themoviedb та movie base витянуло, те є. +100-200 ручних.
Решту вручну додаю, але це дуже довго просувається.
Тож опублікував уже на випадок якщо закину, як і декілька інших проектів. |
|
|
|
|
Xshot
VIP
З нами з: 22.09.09
Востаннє: 02.09.24
Повідомлень: 1650
|
| 2016-07-01 15:38 |
ALFROMEDA
А у вас були ще якісь проекти, які ви закинули? |
|
|
|
|
ALFROMEDA
Відео Гуртом - підтримка та поширення
З нами з: 09.07.12
Востаннє: 31.10.24
Повідомлень: 461
|
| 2016-07-02 08:08 |
всі назви та описи, що міг уже автоматом перекладено, а це 47%.
можу адмінам скинути скрипт, якщо захочуть в себе на піддомені поставити.
| Xshot написано: | | А у вас були ще якісь проекти, які ви закинули? |
декілька проектів по грі дота (zdota2.com), кінобаза |
|
|
|
|
igor911
Модератор відео
З нами з: 18.01.08
Востаннє: 30.10.24
Повідомлень: 17151
|
| 2016-07-02 08:34 |
Питання - ця база сама оновлюватиметься новими релізами на Толоці? |
|
|
|
|
ALFROMEDA
Відео Гуртом - підтримка та поширення
З нами з: 09.07.12
Востаннє: 31.10.24
Повідомлень: 461
|
| 2016-07-02 08:39 |
напів автоматом. треба запускати скрипт.
скоро буде повністю автоматом |
|
|
|
|
ALFROMEDA
Відео Гуртом - підтримка та поширення
З нами з: 09.07.12
Востаннє: 31.10.24
Повідомлень: 461
|
| 2016-07-03 10:24 |
додав гарячі клавіши (стрілка вліво - попередня сторінка, стрілка вправо - наступна)
автоматизував скрипт повністю більше інфи: Наразі атоматизовано додавання нових релізів, якщо вони мають картинку рейтингу Imdb
Також налаштоване додавання анонсів. Зними все буде гаразд. Якщо вони перейдуть в релізи - скрипт додасть в базу.
Щодо автоматичної українізації - з цим все не дуже добре. Хоча я закачав 200к+ фільмів з themoviedb, українізованих там не більше 2тисяч. На 26.06.2016 всі українізовані назви, описи, постери є в базі. Але при нових фільмах назви будуть англійськими.
Зараз 47% з майже 10к - українізовані. Решту українізувати своїми силами я не планую. Якщо хтось хоче українізувати - зайдіть на themoviedb.org і там українізуйте + на мені на пошту скиньте лінки на ці фільми в themoviedb.org.
Якщо адміни толоки захочуть фільтр на своєму домені - з радістю віддам скрипти (там по суті не більше 10файлів та базу данних mysql ~25mb.) вцілому задоволений автоматизацією. Є правда деякі нюанси як 2000 тем з непроставленими imdb id, думаю у вільний час до кінця літа розберусь. |
|
|
|
|
igor911
Модератор відео
З нами з: 18.01.08
Востаннє: 30.10.24
Повідомлень: 17151
|
| 2016-07-03 10:42 |
ALFROMEDA, а немає можливості укр.назву (назви) брати з Толоки до тих фільмів, що мають кнопку ІМДБ?
Додано через 40 секунд:
Я повідомив Адміна про цю тему. |
|
|
|
|
ALFROMEDA
Відео Гуртом - підтримка та поширення
З нами з: 09.07.12
Востаннє: 31.10.24
Повідомлень: 461
|
| 2016-07-03 10:46 |
назву ще +- можна, хоча все одно це не надійно. опис - ні.
я додам аби брало назву, в будь-якому випадку буде краще ніж тільки англ |
|
|
|
|
igor911
Модератор відео
З нами з: 18.01.08
Востаннє: 30.10.24
Повідомлень: 17151
|
| 2016-07-03 11:22 |
А фільми з ди- та інші -логій потрапляють у базу?
Помітив, що немає http://www.imdb.com/title/tt1402488/ , хоча тут він є і окремими релізами і в дилогіях.
А перша частина має неправильну укр.назву "Роби ноги" замість "Веселі ніжки" (тут і на ІМДБ)
Додано через 2 хвилини 2 секунди:
Вибачаюсь, є друга частина. Трохи незручно, що немає переходу на подальші сторінки пошукового запиту внизу.
Додано через 2 хвилини 13 секунд:
Ну і пошук за назвою аж проситься, а його немає  |
|
|
|
|
ALFROMEDA
Відео Гуртом - підтримка та поширення
З нами з: 09.07.12
Востаннє: 31.10.24
Повідомлень: 461
|
| 2016-07-03 12:10 |
з пачками фільму + автоматом вибирає перший ід (перший фільм з серії). Тож з цим проблема.
Можна спробувати брати всі знайдені ід, але може закинути того чого не потрібно. З цим ще треба подумати. Коли вручну додавав я ставив мітку про колекцію. Поки не визначився. Скоршіе за все треба буде ще пикрутити автоматом щоб тянуло всі imdb_id.
а пошук та перехід додав.
Пошук без фільтрів. Якщо треба можна зробити щоб з фільтрами працював. |
|
|
|
|
bogdan8249
Відео Гуртом - фільмокрай
З нами з: 09.08.08
Востаннє: 23.10.24
Повідомлень: 1260
|
| 2016-07-03 13:31 |
https://tf.auct.eu/?q=��накше+ми+розсердимося#
Дещо не так зроблено. При натиснені "Глянути на толоці", шукає не "...altrimenti ci arrabbiamo!" (як в оригіналі), а "Watch Out, We're Mad" (як у перекладі англійською). Тож при цьому не знаходить. |
|
|
|
|
igor911
Модератор відео
З нами з: 18.01.08
Востаннє: 30.10.24
Повідомлень: 17151
|
| 2016-07-03 13:37 |
bogdan8249, мабуть це тому, що назви брались не з ІМДБ, а з
| ALFROMEDA написано: | | Хоча я закачав 200к+ фільмів з themoviedb |
Додано через 1 хвилину 25 секунд:
також, непогано було б релізерам на Толоці додавати також міжнародну (англійську) назву для оптимізації пошуку їх релізів.
Додано через 39 секунд:
| IMDB написано: | | World-wide (English title): Watch Out, We're Mad |
|
|
|
|
|
bogdan8249
Відео Гуртом - фільмокрай
З нами з: 09.08.08
Востаннє: 23.10.24
Повідомлень: 1260
|
| 2016-07-03 13:41 |
| Цитата: | | також, непогано було б релізерам на Толоці додавати також міжнародну (англійську) назву для оптимізації пошуку їх релізів. |
Ну, коли там щось китайською, японською, арабською і т.п., то може й потрібно, а при якійсь мові яка теж латинськими символами пишеться - не знаю. |
|
|
|
|
igor911
Модератор відео
З нами з: 18.01.08
Востаннє: 30.10.24
Повідомлень: 17151
|
| 2016-07-03 13:44 |
| bogdan8249 написано: | | не знаю |
от якраз для таких випадків, коли шукатимуть за міжнародною назвою. Так би реліз знайшовся одразу. |
|
|
|
|
bogdan8249
Відео Гуртом - фільмокрай
З нами з: 09.08.08
Востаннє: 23.10.24
Повідомлень: 1260
|
| 2016-07-03 13:46 |
Як я щойно побачив, щоб не створювати проблем, краще клацнути "Список тем" і там одразу є посилання на реліз. Щоправда, як я розумію, нові релізи з кращою якістю чи з доданими доріжками там потім не можна буде застати? |
|
|
|
|
igor911
Модератор відео
З нами з: 18.01.08
Востаннє: 30.10.24
Повідомлень: 17151
|
| 2016-07-03 13:52 |
По ідеї, скрипт має періодично проходитись і додавати нові релізи у базу.
| ALFROMEDA написано: | | Наразі автоматизовано додавання нових релізів, якщо вони мають картинку рейтингу Imdb |
Додано через 3 хвилини 41 секунду:
| ALFROMEDA написано: | | Є правда деякі нюанси як 2000 тем з непроставленими imdb id |
Матиму час - пройдусь по старих релізах у своїх розділах, додам код IMDB. |
|
|
|
|
ALFROMEDA
Відео Гуртом - підтримка та поширення
З нами з: 09.07.12
Востаннє: 31.10.24
Повідомлень: 461
|
| 2016-07-03 14:11 |
нові релізи автоматом додаються
щодо пошук на толоці
| Цитата: | Якщо фільм на толоці не знайдено, спробуйте пошук без року або змінити назву на українську.
Якщо все одно не знайшли - клікніть на Список тем. |
додав декілька варіантівдля кнопки, але мабуть таки надійніше звіряти з списком тем. Є назви релізів, особливо старі, що не відповідають по назві в цій базі
 |
|
|
|
|
aaaa22
Новенький
З нами з: 04.07.16
Востаннє: 26.11.16
Повідомлень: 3
|
| 2016-07-04 15:30 |
ALFROMEDA
Ще є над чим попрацювати, але коли додаси магніти, то про толоку можна буде забути  |
|
|
|
|
ALFROMEDA
Відео Гуртом - підтримка та поширення
З нами з: 09.07.12
Востаннє: 31.10.24
Повідомлень: 461
|
| 2016-07-04 15:34 |
aaaa22
якщо додам, думаю мене забанять. тут на рейтингу трекер.
до того ж деякі релізи одного й того фільму не роздаються, а я не збираюсь тянути з толоки оновлення багато і часто |
|
|
|
|
igor911
Модератор відео
З нами з: 18.01.08
Востаннє: 30.10.24
Повідомлень: 17151
|
| 2016-07-05 11:58 |
|
|
|
|
|
ALFROMEDA
Відео Гуртом - підтримка та поширення
З нами з: 09.07.12
Востаннє: 31.10.24
Повідомлень: 461
|
| 2016-07-05 12:39 |
дякую, що замітили
до вечору буде вирішено. там була проблема в тому що при парсингу всієї толоки деякі сторінки видавались як пусті. я крутанув раз обновки пустих, правда забув крутити більше раз, щоб всі пусті замінились на нові |
|
|
|
|
foralreg
Частий відвідувач
З нами з: 09.10.11
Востаннє: 30.10.24
Повідомлень: 35
|
| 2016-07-05 16:12 |
ALFROMEDA Прохання Підскажіть будь ласка, чи у Вас є можливість, зробити скріпт, який би завантажував всі торент-файли з певного розділу на Толоці? Дякую. |
|
|
|
|
taraskill1
Відео Гуртом - фільмокрай
З нами з: 21.01.12
Востаннє: 30.10.24
Повідомлень: 1497
|
| 2016-07-05 16:27 |
а як щодо ди-, три- та інших логій. чи захоплює їх фільтр ? |
|
|
|
|
ALFROMEDA
Відео Гуртом - підтримка та поширення
З нами з: 09.07.12
Востаннє: 31.10.24
Повідомлень: 461
|
| 2016-07-05 17:08 |
| foralreg написано: | | Підскажіть будь ласка, чи у Вас є можливість, зробити скріпт, який би завантажував всі торент-файли з певного розділу на Толоці? Дякую. |
зробито можливо все. питання у доцільності
| taraskill1 написано: | | а як щодо ди-, три- та інших логій. чи захоплює їх фільтр ? |
з трилогіями ще не вирішена проблема. Наразі з тем, де більше 1ого фільму тяне лише перший фільм. Поки що трилогію можна знайти по першій частині фільму та натиснувши на список тем.
В майбутньому теми з багатьма фільмами будуть у списку Фільму#2,#3..
| igor911 написано: | | Ось цей реліз https://toloka.to/t5864 не потрапив у "Список тем" фільму Падіння чорного яструба, хоча там є код ІМДБ (можливо через прикручене голосування в темі). |
всі теми, що не були зпарсені занесені в базу (кількість ~500, з них фільмів з imdb_id 32). |
|
|
|
|
foralreg
Частий відвідувач
З нами з: 09.10.11
Востаннє: 30.10.24
Повідомлень: 35
|
| 2016-07-07 08:03 |
| ALFROMEDA написано: | | питання у доцільності |
Звичайно, це більш потрібно мені, але може стати допомогою - всім учасникам Відео Гуртом - підтримка та поширення. Наприклад - у мене є можливість та ресурси, завантажити та роздавати цей підрозділ https://toloka.to/f96 Але завантажувати по одному, м'яко кажучі не дуже... Хоча якщо нікто не допоможе, прийдеться так і робити.  |
|
|
|
|
BOHD@N
VIP
З нами з: 16.06.12
Востаннє: 07.09.22
Повідомлень: 1431
|
| 2016-07-12 10:52 |
Пане модератор, як Ви дивитесь на те щоб закріпити цю тему ТУТ? |
|
|
|
|
Virake
Localize Team
З нами з: 07.07.09
Востаннє: 07.10.24
Повідомлень: 7278
|
| 2016-07-18 16:59 |
це надзвичайно корисна річ.
foralreg, які ваші поточні труднощі у розробці? чим можна зарадити? |
|
|
|
|
foralreg
Частий відвідувач
З нами з: 09.10.11
Востаннє: 30.10.24
Повідомлень: 35
|
| 2016-07-18 18:20 |
Virake
Одна добра людина, скинула всі торрент файли з певного розділу, за що їй велика подяка.
Але сама ідея була в якомусь скрипті або маленькій програмці, за допомогою якої, була б можливість завантажувати торрент файли з любого розділу і не залежати від когось. Намагався переробити скрипт з другого трекера, але майже нічого не вийшло. В теорії можу завантажити релізів на ~70Тб, а на практиці - пока нуль ((( |
|
|
|
|
