0
Отвечен

сбор по конкурентам

Visdom25 5 лет назад обновлен SocialKit (Руководитель ТП) 5 лет назад 23

Здравствуйте.

Не удаётся собрать аудиторию.

По завершению вижу окно с инфой:


Сбор по конкуренту: optic_vision_

...Сервер Instagram вернул ошибку: превышение лимита на количество запросов в единицу времени.
Попробуйте увеличить число повторений и/или тайм-аут.

Сбор по конкуренту: m_optika
...Сервер Instagram вернул ошибку: превышение лимита на количество запросов в единицу времени.
Попробуйте увеличить число повторений и/или тайм-аут.

Сбор по конкуренту: soloticamoscow
...Сервер Instagram вернул ошибку: превышение лимита на количество запросов в единицу времени.
Попробуйте увеличить число повторений и/или тайм-аут.

Сбор по конкуренту: lux_lenses_dostavka
...Сервер Instagram вернул ошибку: превышение лимита на количество запросов в единицу времени.
Попробуйте увеличить число повторений и/или тайм-аут.

Сбор по конкуренту: color_lens
...Сервер Instagram вернул ошибку: превышение лимита на количество запросов в единицу времени.
Попробуйте увеличить число повторений и/или тайм-аут.

Сбор по конкуренту: desio_kz
...Сбор успешно завершён


настройки

все аккаунты проверил после этого,

вот результат проверки техов


переавторизовал, запустил по новой и опять.

аккаунты без прокси(использую пол года как техи)

Версия программы:
1,63,4,3
Окно ошибки
На рассмотрении

Здравствуйте. Это означает что скорее всего ваш ip адрес попал под временную блокировку. Если вы на нем и фильтруете и собираете, то для фильтрации лучше всего использовать тогда прокси. В данном случае вам надо либо выждать 2-3 дня, как правило это срок блокировки ip или технические аккаунты привязать к прокси.

фильтрация само собой на прокси.

Проблема только со сбором.

При чем когда собираешь с каждого из этих конкурентов по отдельности, то всё нормально.

Фильтрация это отдельная функция. Если у вас происходит сбор на 1 ip, то выше уже написали как это устранить. Сбор с одного профиля происходит нормально, потому что Ip не достигает критического лимита по обращению к инстаграм.

почему пол года всё было нормально и проблема появилась за последние двое суток?

Здравствуйте.

Эта проблема появилась после недавних нововведений инстаграма. В последней версии программы появилась кнопке "Сбросить настройки", которая автоматически увеличивает тайм-аут в случае ошибки до 60 секунд. Попробуйте сбросить настройки и повторить сбор.

такая же ситуация.

Только по одному конкуренту, по очереди.

Крайне неудобно.

сбор встал. за 9 часов сдвинулся только на 1к

а у меня постоянно ошибка в логике - сбор в режими ожидания/ как избежать по 3к собирает и беда

Когда снимаете/устанавливаете галочку "Использовать тех.аккаунты одновременно" нажимайте кнопку "Сбросить настройки". Или вручную установите 4990 запросов на аккаунт и тайм-аут 60 секунд при одновременном сборе.


Если вы перед этим сбором пробовали уже собирать, возможно, ваши тех.аккаунты достигли лимита на обращение к серверу и нуждаются в небольшой паузе перед сбором.


Увеличьте число ТА и используйте рекомендуемые настройки.

сделал паузу пару часов.

обновился

сбросил настройки.

итог тот же

Это не итог, а процесс сбора, который останавливается из-за превышений лимитов, установленных Инстаграмом на обращение к серверу.

Нужно дождаться окончания сбора, после паузы он должен продолжиться.

спустя 3 часа.


у меня так всю ночь висел.

Я единственный, у кого такая проблема?

до сих на том же месте

что это за ерунда?

Почему у меня вообще должна возникать такая проблема и что вы предлагаете?

Очередь уже образовалась !

Если акк на прокси, то смените прокси. Так же ознакомьтесь со статьей как собирать те или иные обьемы, чтобы не превышать количество запросов к инсте. http://support.socialkit.ru/topics/1365-formirovanie-auditorii-po-konkurentam/

аккаунты без прокси.

мне подходят кейсы 1 и 2.

Но они не актуальны, поскольку переключатель максимальной нагрузки, отвечающий за фильтрацию отсутствует. Тайм аут при ошибке тоже отличается от "сброс настроек" при одновременном сборе.

Наверное нужно переделать статью под актуальные настройки. Было бы конструктивно.



Я смог решить проблему только разделим список конкурентов на 10, это танцы с бубном. Так не пойдет.


Отвечен

На данном этапе Instagram выкатил ряд кривых изменений, из-за которых даже их официальный клиент возвращает вместо подписчиков и подписок чушь. Потому определить, что у Вас не так не представляется возможным. Нужно набраться терпения и ждать, пока нормализуется работа официального Instagram-клиента и сервиса в целом.

Как и ожидалось, Instagram исправила ошибку и теперь подписчики возвращаются без проблем по любым аккаунтам. С подписками остались те же ограничения в официальном клиенте - по чужим аккаунтам возвращается только часть и возможны вхождения "левых". Полный список подписок можно собрать только у самого себя.

проверим. спасибо

сбор всё также прерывается.

Периодически 1 ак вступает в работу, но объемы очень смешные.

Мы проверили в очередной раз сбор по конкурентам. В целом, функция работает, но нужно четко понимать следующие моменты.


Еще раз проговорим, когда ТА уходят в режим ожидания:


1. Используемые ТА выбило на уровень верификации, который не позволяет использовать их в сборе. Чтобы в этом убедиться можно по окончанию обновить ТА из главного окна с отключенным пунктом "Проверять запросы от Instagram на верификацию" или же провести проверку прямо на закладке сбора по конкурентам. Выбить на верификацию может по разным причинам. Например, использование ТА без прокси, прокси был скомпрометирован и т.д. - полный перечень возможных причин вряд ли кто-то из нас когда-либо узнает.


2. Во время сбора произошли проблемы с прокси, которые привели к фатальной ошибке.


3. Завершился сбор по тому или иному конкуренту из текущей части от их общего числа. ТА получают работу порционно и ждут пока сбор по всем конкурентам порции будет завершен. После этого все ТА переходят к обработке следующей порции и так продолжается до тех пор, пока список не будет исчерпан.


4. Завершился сбор по тому или иному конкуренту, т.к. обрабатываемый того или иного конкурента ТА не может быть использован для осуществления полного сбора (есть возможность отсечь такие аккаунты перед сбором, запустив тест).


5. По конкуренту невозможен сбор, т.к. он был (или стал) закрытым.


ТА временно отключены, когда:


1. Временный бан для аккаунта за превышение запросов в единицу времени (при длительном сборе).


2. Ошибки в логике Instagram, которые можно обойти программно.

+1
Отвечен

Например, такая ситуация на экране:



Идёт одновременный сбор по 66 конкурентам на 35 ТА. В данный момент 31 ТА завершили сбор по 31 конкуренту и ждут следующего задания. 4 ТА временно отключены, т.к. получили временный бан Instagram.


Через некоторое время сбор продолжился согласно вышеописанное логики:



Это сделано умышленно, чтобы не перегружать ТА и не отправлять их в бан непрерывно. К моменту, когда самые нагружаемые ТА закончат сбор остальные уже хорошо "отдохнут" и смогут достаточно длительное время отработать без проблем.


Отрицательная сторона в том, что если в группе окажется, например, один миллионник и 34 тысячника, то все 34 будут ждать пока ТА расправится с миллионником. Решение состоит в предварительной сортировке (группировке) конкурентов по числу подписчиков (если речь о сборе подписчиков). Мы вскоре добавим возможность делать это одним кликом.

+1

В результате более детального исследования удалось выявить также следующую проблему Instagram. Как известно, несколько дней назад у Instagram была проблема, в результате которой курсор БД с подписчиками вообще не возвращал следующую порцию данных. Они это поправили, но, как оказалось в результате нескольких тестов, поправили криво. В процессе вращения курсора возвращение новых данных снова может быть остановлено. Курсор БД будет обновляться, однако, данные будут возвращаться старые. Это приводит к тому, что SocialKit уходит в бесконечный цикл, т.к. для программы обновляемый курсор БД Instagram означает, что подписчики продолжают успешно возвращаться сервером Instagram. Мы добавили контроль за возвращаемыми данными и остановку зацикливания, если проблема будет обнаружена (она появляется не всегда, плавает). В результирующем логе будет указано, по какому из конкурентов произошла ошибка в логике. Не знаем, что появится раньше, новая версия (запланирована на конец недели) или очередные правки от Instagram, но эту ошибку сервиса мы уже учли.

Сервис поддержки клиентов работает на платформе UserEcho