Фільтр фільмів толоки

Нові коментарі

Нова тема   Відповісти
Сторінка:  1, 2, 3  наступна
Автор Повідомлення
ALFROMEDA 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.07.12
Востаннє: 18.08.17
Повідомлень: 275

2016-06-29 19:07  
Представляю фільтр фільмів - https://tf.auct.eu - сторінка усіх фільмів з toloka.to, що є в imdb, з можливістю фільтру.
Оновлення відбувається кожні 6 годин автоматично.


В базі включені тільки фільми, що є на imdb. (і я не планую додавати фільми без нього).

Історія
для швидкого фільтру фільмів давно вже думав, щось зробити.
Побачивши деякі повідомлення про таке, вирішив зробити.
Найважче було вручну вписування imdb id темам (що не мають посилання на imdb_id).
Про систему
Наразі атоматизовано додавання нових релізів, якщо вони мають картинку рейтингу Imdb
Також налаштоване додавання анонсів. Зними все буде гаразд. Якщо вони перейдуть в релізи - скрипт додасть в базу.

Щодо автоматичної українізації - з цим все не дуже добре.
Українізація відбувається з джерелу themoviedb. Якщо там нема фільму українського назва буде взята з найпершого релізу, витягується все до символу "/" або "(". Описи при цьому автоматом не витягує скрипт.
Зараз 47% з майже 10к "українізовано" з джерел наповнення, решта методом витягнення назви з першого релізу.
Принцип роботи:

Кожні 6 годин скрипт перевіряє анонси релізів (наявних в базі) чи вони не перейшли в розділи релізів. Якщо так - додає в базу фільм та мітить тему як реліз.

Після цього з головної сторінки толоки береться найновіша тема і скрипт парсить всі теми від останньої в базі скрипта до цієї найновішої. При цьому ліміт становить 200 (на всяк випадок). В базу додаються тільки розділи з релізами фільмів, анонси помічаються як анонси.

Всі теми, що скрипт додав, якщо воно має imdb_id скрипт витягує інформацію з omdbapi.com.
Потім по локальній базі (9к українізованих фільмів з Moviebase) та через витягнення української назви, опису з themoviedb.org. Тих фільмів, котрих нема - скрипт тяне українську назву з заголовку першого релізу.
Джерела наповнення:
omdbapi.com
themoviedb.org
moviebase (програма, звідти 2к укр назв та описів витянув)
Важливо: При створенні релізів додавати кнопку рейтингу imdb. Тільки так ваш реліз з'явиться у фільтрі фільмів.

Якщо хтось хоче українізувати фільм:
Той, що вже є в базі - зайдіть на themoviedb.org і там українізуйте + на мені на пошту скиньте лінки на ці фільми в themoviedb.org.
Якщо нема на толоці - перед створенням релізу - прохання додати українську назву, опис та постер в themoviedb.org, перед створенням. Таким чином скрипт автоматом витягне цю інформацію собі.

Якщо адміни толоки захочуть фільтр на своєму домені - з радістю віддам скрипти (там по суті не більше 10файлів та базу данних mysql ~25mb.)
igor911 
Відео Гуртом
Відео Гуртом


З нами з: 18.01.08
Востаннє: 18.08.17
Повідомлень: 7278

2016-06-29 22:05  
ALFROMEDA, а де українська назва та укр.опис?

Додано через 1 хвилину 49 секунд:

до деяких є обидві назви, до деяких лише оригінальна.

Додано через 8 хвилин 4 секунди:

Дякую!
ALFROMEDA 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.07.12
Востаннє: 18.08.17
Повідомлень: 275

2016-06-29 23:09  
Те, що автоматом з themoviedb та movie base витянуло, те є. +100-200 ручних.
Решту вручну додаю, але це дуже довго просувається.

Тож опублікував уже на випадок якщо закину, як і декілька інших проектів.
Xshot 
VIP


З нами з: 22.09.09
Востаннє: 18.08.17
Повідомлень: 1600

2016-07-01 16:38  
ALFROMEDA
А у вас були ще якісь проекти, які ви закинули?
ALFROMEDA 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.07.12
Востаннє: 18.08.17
Повідомлень: 275

2016-07-02 09:08  
всі назви та описи, що міг уже автоматом перекладено, а це 47%.
можу адмінам скинути скрипт, якщо захочуть в себе на піддомені поставити.

Xshot написано:
А у вас були ще якісь проекти, які ви закинули?

декілька проектів по грі дота (zdota2.com), кінобаза
igor911 
Відео Гуртом
Відео Гуртом


З нами з: 18.01.08
Востаннє: 18.08.17
Повідомлень: 7278

2016-07-02 09:34  
Питання - ця база сама оновлюватиметься новими релізами на Толоці?
ALFROMEDA 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.07.12
Востаннє: 18.08.17
Повідомлень: 275

2016-07-02 09:39  
напів автоматом. треба запускати скрипт.
скоро буде повністю автоматом
ALFROMEDA 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.07.12
Востаннє: 18.08.17
Повідомлень: 275

2016-07-03 11:24  
додав гарячі клавіши (стрілка вліво - попередня сторінка, стрілка вправо - наступна)
автоматизував скрипт повністю більше інфи:
Наразі атоматизовано додавання нових релізів, якщо вони мають картинку рейтингу Imdb
Також налаштоване додавання анонсів. Зними все буде гаразд. Якщо вони перейдуть в релізи - скрипт додасть в базу.

Щодо автоматичної українізації - з цим все не дуже добре. Хоча я закачав 200к+ фільмів з themoviedb, українізованих там не більше 2тисяч. На 26.06.2016 всі українізовані назви, описи, постери є в базі. Але при нових фільмах назви будуть англійськими.

Зараз 47% з майже 10к - українізовані. Решту українізувати своїми силами я не планую. Якщо хтось хоче українізувати - зайдіть на themoviedb.org і там українізуйте + на мені на пошту скиньте лінки на ці фільми в themoviedb.org.

Якщо адміни толоки захочуть фільтр на своєму домені - з радістю віддам скрипти (там по суті не більше 10файлів та базу данних mysql ~25mb.)
вцілому задоволений автоматизацією. Є правда деякі нюанси як 2000 тем з непроставленими imdb id, думаю у вільний час до кінця літа розберусь.
igor911 
Відео Гуртом
Відео Гуртом


З нами з: 18.01.08
Востаннє: 18.08.17
Повідомлень: 7278

2016-07-03 11:42  
ALFROMEDA, а немає можливості укр.назву (назви) брати з Толоки до тих фільмів, що мають кнопку ІМДБ?

Додано через 40 секунд:

Я повідомив Адміна про цю тему.
ALFROMEDA 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.07.12
Востаннє: 18.08.17
Повідомлень: 275

2016-07-03 11:46  
назву ще +- можна, хоча все одно це не надійно. опис - ні.

я додам аби брало назву, в будь-якому випадку буде краще ніж тільки англ
igor911 
Відео Гуртом
Відео Гуртом


З нами з: 18.01.08
Востаннє: 18.08.17
Повідомлень: 7278

2016-07-03 12:22  
А фільми з ди- та інші -логій потрапляють у базу?
Помітив, що немає http://www.imdb.com/title/tt1402488/ , хоча тут він є і окремими релізами і в дилогіях.
А перша частина має неправильну укр.назву "Роби ноги" замість "Веселі ніжки" (тут і на ІМДБ)

Додано через 2 хвилини 2 секунди:

Вибачаюсь, є друга частина. Трохи незручно, що немає переходу на подальші сторінки пошукового запиту внизу.

Додано через 2 хвилини 13 секунд:

Ну і пошук за назвою аж проситься, а його немає Sad (1)
ALFROMEDA 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.07.12
Востаннє: 18.08.17
Повідомлень: 275

2016-07-03 13:10  
з пачками фільму + автоматом вибирає перший ід (перший фільм з серії). Тож з цим проблема.
Можна спробувати брати всі знайдені ід, але може закинути того чого не потрібно. З цим ще треба подумати. Коли вручну додавав я ставив мітку про колекцію. Поки не визначився. Скоршіе за все треба буде ще пикрутити автоматом щоб тянуло всі imdb_id.

а пошук та перехід додав.
Пошук без фільтрів. Якщо треба можна зробити щоб з фільтрами працював.
bogdan8249 
Відео Гуртом - фільмокрай
Відео Гуртом - фільмокрай


З нами з: 09.08.08
Востаннє: 18.08.17
Повідомлень: 1157

2016-07-03 14:31  
https://tf.auct.eu/?q=накше+ми+розсердимося#

Дещо не так зроблено. При натиснені "Глянути на толоці", шукає не "...altrimenti ci arrabbiamo!" (як в оригіналі), а "Watch Out, We're Mad" (як у перекладі англійською). Тож при цьому не знаходить.
igor911 
Відео Гуртом
Відео Гуртом


З нами з: 18.01.08
Востаннє: 18.08.17
Повідомлень: 7278

2016-07-03 14:37  
bogdan8249, мабуть це тому, що назви брались не з ІМДБ, а з
ALFROMEDA написано:
Хоча я закачав 200к+ фільмів з themoviedb


Додано через 1 хвилину 25 секунд:

також, непогано було б релізерам на Толоці додавати також міжнародну (англійську) назву для оптимізації пошуку їх релізів.

Додано через 39 секунд:

IMDB написано:
World-wide (English title): Watch Out, We're Mad
bogdan8249 
Відео Гуртом - фільмокрай
Відео Гуртом - фільмокрай


З нами з: 09.08.08
Востаннє: 18.08.17
Повідомлень: 1157

2016-07-03 14:41  
Цитата:
також, непогано було б релізерам на Толоці додавати також міжнародну (англійську) назву для оптимізації пошуку їх релізів.

Ну, коли там щось китайською, японською, арабською і т.п., то може й потрібно, а при якійсь мові яка теж латинськими символами пишеться - не знаю.
igor911 
Відео Гуртом
Відео Гуртом


З нами з: 18.01.08
Востаннє: 18.08.17
Повідомлень: 7278

2016-07-03 14:44  
bogdan8249 написано:
не знаю

от якраз для таких випадків, коли шукатимуть за міжнародною назвою. Так би реліз знайшовся одразу.
bogdan8249 
Відео Гуртом - фільмокрай
Відео Гуртом - фільмокрай


З нами з: 09.08.08
Востаннє: 18.08.17
Повідомлень: 1157

2016-07-03 14:46  
Як я щойно побачив, щоб не створювати проблем, краще клацнути "Список тем" і там одразу є посилання на реліз. Щоправда, як я розумію, нові релізи з кращою якістю чи з доданими доріжками там потім не можна буде застати?
igor911 
Відео Гуртом
Відео Гуртом


З нами з: 18.01.08
Востаннє: 18.08.17
Повідомлень: 7278

2016-07-03 14:52  
По ідеї, скрипт має періодично проходитись і додавати нові релізи у базу.
ALFROMEDA написано:
Наразі автоматизовано додавання нових релізів, якщо вони мають картинку рейтингу Imdb


Додано через 3 хвилини 41 секунду:

ALFROMEDA написано:
Є правда деякі нюанси як 2000 тем з непроставленими imdb id

Матиму час - пройдусь по старих релізах у своїх розділах, додам код IMDB.
ALFROMEDA 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.07.12
Востаннє: 18.08.17
Повідомлень: 275

2016-07-03 15:11  
нові релізи автоматом додаються
щодо пошук на толоці
Цитата:
Якщо фільм на толоці не знайдено, спробуйте пошук без року або змінити назву на українську.
Якщо все одно не знайшли - клікніть на Список тем.

додав декілька варіантівдля кнопки, але мабуть таки надійніше звіряти з списком тем. Є назви релізів, особливо старі, що не відповідають по назві в цій базі
aaaa22 
Новенький


З нами з: 04.07.16
Востаннє: 26.11.16
Повідомлень: 3

2016-07-04 16:30  
ALFROMEDA
Ще є над чим попрацювати, але коли додаси магніти, то про толоку можна буде забути Wide grin
ALFROMEDA 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.07.12
Востаннє: 18.08.17
Повідомлень: 275

2016-07-04 16:34  
aaaa22
якщо додам, думаю мене забанять. тут на рейтингу трекер.
до того ж деякі релізи одного й того фільму не роздаються, а я не збираюсь тянути з толоки оновлення багато і часто
igor911 
Відео Гуртом
Відео Гуртом


З нами з: 18.01.08
Востаннє: 18.08.17
Повідомлень: 7278

2016-07-05 12:58  
Ось цей реліз https://toloka.to/t5864 не потрапив у "Список тем" фільму Падіння чорного яструба, хоча там є код ІМДБ (можливо через прикручене голосування в темі).
ALFROMEDA 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.07.12
Востаннє: 18.08.17
Повідомлень: 275

2016-07-05 13:39  
дякую, що замітили
до вечору буде вирішено.
там була проблема в тому що при парсингу всієї толоки деякі сторінки видавались як пусті. я крутанув раз обновки пустих, правда забув крутити більше раз, щоб всі пусті замінились на нові
foralreg 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.10.11
Востаннє: 14.07.17
Повідомлень: 35

2016-07-05 17:12  
ALFROMEDA
Прохання
Підскажіть будь ласка, чи у Вас є можливість, зробити скріпт, який би завантажував всі торент-файли з певного розділу на Толоці? Дякую.
taraskill1 
Модератор відео


З нами з: 21.01.12
Востаннє: 18.08.17
Повідомлень: 1028

2016-07-05 17:27  
а як щодо ди-, три- та інших логій. чи захоплює їх фільтр ?
ALFROMEDA 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.07.12
Востаннє: 18.08.17
Повідомлень: 275

2016-07-05 18:08  
foralreg написано:
Підскажіть будь ласка, чи у Вас є можливість, зробити скріпт, який би завантажував всі торент-файли з певного розділу на Толоці? Дякую.

зробито можливо все. питання у доцільності

taraskill1 написано:
а як щодо ди-, три- та інших логій. чи захоплює їх фільтр ?

з трилогіями ще не вирішена проблема. Наразі з тем, де більше 1ого фільму тяне лише перший фільм. Поки що трилогію можна знайти по першій частині фільму та натиснувши на список тем.
В майбутньому теми з багатьма фільмами будуть у списку Фільму#2,#3..

igor911 написано:
Ось цей реліз https://toloka.to/t5864 не потрапив у "Список тем" фільму Падіння чорного яструба, хоча там є код ІМДБ (можливо через прикручене голосування в темі).

всі теми, що не були зпарсені занесені в базу (кількість ~500, з них фільмів з imdb_id 32).
foralreg 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.10.11
Востаннє: 14.07.17
Повідомлень: 35

2016-07-07 09:03  
ALFROMEDA написано:
питання у доцільності

Звичайно, це більш потрібно мені, але може стати допомогою - всім учасникам Відео Гуртом - підтримка та поширення. Наприклад - у мене є можливість та ресурси, завантажити та роздавати цей підрозділ https://toloka.to/f96 Але завантажувати по одному, м'яко кажучі не дуже... Хоча якщо нікто не допоможе, прийдеться так і робити. Sad (2)
[email protected] 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 16.06.12
Востаннє: 18.08.17
Повідомлень: 1195

2016-07-12 11:52  
Пане модератор, як Ви дивитесь на те щоб закріпити цю тему ТУТ?
Virake 
Localize Team
Localize Team


З нами з: 07.07.09
Востаннє: 15.08.17
Повідомлень: 4452

2016-07-18 17:59  
це надзвичайно корисна річ.

foralreg, які ваші поточні труднощі у розробці? чим можна зарадити?
foralreg 
Відео Гуртом - підтримка та поширення
Відео Гуртом - підтримка та поширення


З нами з: 09.10.11
Востаннє: 14.07.17
Повідомлень: 35

2016-07-18 19:20  
Virake
Одна добра людина, скинула всі торрент файли з певного розділу, за що їй велика подяка.

Але сама ідея була в якомусь скрипті або маленькій програмці, за допомогою якої, була б можливість завантажувати торрент файли з любого розділу і не залежати від когось. Намагався переробити скрипт з другого трекера, але майже нічого не вийшло. В теорії можу завантажити релізів на ~70Тб, а на практиці - пока нуль (((
Ваш часовий пояс: GMT + 2 Години

Нова тема   Відповісти Сторінка:  1, 2, 3  наступна