0
Отвечен

Макимальная скорость фильтрации (пакеты аккаунтов в секунду) зависит и от железа??

Captain Jack 8 лет назад обновлен SocialKit (Руководитель ТП) 8 лет назад 8

Заметил непонятный факт:

есть два VDS у одного хостера.

2ядра 2гига оперативки

и

4ядра 4 ядра оперативки

Настройки у них вообще ВСЕ выставляю абсолютно одинаковые несколько раз проверил они для максимальной скорости т.е. нагрузка на систему максимальная, качество связи высокое, коэффициент умножения =1 проксей задаю 400 (прокси все рабочие и резвые)


При задаче по фильтрации аудитории, а так же операции над списками (например перевод из ID - в логины) первый VDS отрабатывает партиями по 200 аккаунтов второй VDS отрабатывает партиями по 400 аккаунтов. То есть как бы максимально возможная скорость обработки изначально уменьшается в двое, т.к. зависит не только от проксей и настроек но и от самого железа. В справке нигде не нашел об этом упоминаний прошу прокомментировать поддержку так ли это? максимальная партия обработки аккаунтов в секунду ограничена характиристикаи сервера на котором запущен SK ??

Отвечен

Здравствуйте!


Да, от железа тоже зависит помимо всего прочего. Если у ПК не боле 2 логических ядер, то больше 200 потоков при фильтрации/обновлении/анализе создавать нецелесообразно, т.к. в противном случае общая производительность будет не расти, а падать из-за того, что ЦП не будет успевать обрабатывать всю очередь потоков достаточно оперативно. При этом параллельно могут работать другие задачи на МФ, МЛ, МК и т.д. в качестве отдельных потоков - это не будет влиять на число создаваемых потоков при фильтрации/обновлении/анализе профилей.

Понятно, тогда вопрос если брать сервер с 3-мя логическими ядрами то будет 400 потоков под вышеуказанные задачи или не факт?? и еще подвопрос скажем задали 400 прокси а потоков для фильтрации пошло 200 при этом будут использоваться первые 200 проксей из 400 или все 400 проксей но по очереди.. То же допустим для ситуации когда 400 поток по фильтрации идет а проксей задали 1000 то только первые 400 проксей из заданного списка будут использоваться или же все 1000 сменяя друг друга?

1. Число ядер должно быть четным, чтобы нагрузка распределялась математически верно.


2. Первые 200 прокси.


3. Первые 400 проксей, остальные 600 будут без дела.

Я бы не баловался фильтрацией на VDS заблочат на раз два.

Не заблочат, если использовать "правильных" облачных провайдеров. Например, VPSville (ссылка есть в программе на закладке "О программе"). Они занают о существовании нашего ПО и знают, что люди через это ПО делают. Мы успешно проверяли работу фильтра (среди прочих функций) в 400 потоковой нагрузке.

Балуюсь уже не один месяц, выбирайте правильных хостеров например тех что рекомендует поддержка в справке..


На fineproxy (по моему опыту они в плане инсты годны только для фильтрации/обновлении/анализа) скорость на старте задания получается приличная, пакет их 400-т аккаунтов обрабатывается за 2-4 секунды ну изредка подвисает и за минуту может обработать.. Но после 500к или после милиона обработанных иногда начинаются тормоза и пакеты могут обрабатываться и по 300 секунд...


Вопрос к поддержке - какая настройка из экспертных отвечает за максимальное время ожидания? так понимаю даже если один прокси из 400 тормозит с ответом то все 400 из партии будут ждать его пока обработка парии не закончится полностью, именно из за этого ведь и появляются очень большие задержки? почему нельзя сделать потоки независимыми тогда ведь общая скорость обработки повысится..


И еще похоже по крайней мере файновские прокси под нагрузкой со временем после 500к-1000к начинают иногда притормаживать (вероятно инста не дает ответа сразу из за каких то лимитов) может быть использование всех заданных проксей в списке как то по очереди или брать каждый раз случайные 400 из тысячи (а не первых в списке) прокси это тоже может повысить стабильность и скорость задач по фильтрации и подобных?

будет ли коммент от поддержки по существу двух заданных в предидущем посте подвопросов

По поводу качества fineproxy мы комментарии дать не можем. Их не использовали и использовать не собираемся. Сейчас существует масса способов получить быстрые, качественные прокси для фильтрации и продвижения. Можно найти и купить уже поднятые, можно купить сервер и поднять прокси самому. Каждый выбирает способ по своим навыкам.


>>Вопрос к поддержке - какая настройка из экспертных отвечает за максимальное время ожидания?

Никакая. Да, общая задержка может появляться из-за "слабого звена". Это связано не с тем, что потоки не независимые (они не связаны друг с другом никак), а с тем, как обрабатываются их результаты. Также задержка может появляться из-за временного отказа Instagram обслуживать подсеть. Это разновидность защиты и тогда программа сама решает, что и в каком количестве нужно повторить, опираясь при этом на настройку "количество повторений" на закладке с настройками фильтра. В последнем случае даже независимая обработка результатов ни к каким радикальным улучшениям не приведет. Но Вы можете снизить этот параметр, увеличив тем самым число пропущенных профилей. В целом, раздобыв действительно стабильные прокси можно при фильтрации миллионного списка профилей иметь стабильную скорость в 5-6 тыс. профилей в минуту на протяжении вей фильтрации. На наш взгляд, это более, чем абсолютно достаточный показатель при работе с десятками миллионов профилей ежедневно.

Сервис поддержки клиентов работает на платформе UserEcho