Исходящие прокси
Содержание
Сервис умеет отправлять свои исходящие HTTP-запросы через прокси: общий пул владельца и личные прокси пользователей. Поддерживаются схемы http, https, socks4, socks4a, socks5 и socks5h. Для SOCKS-прокси лучше socks5h: имя сайта разрешает сам прокси, а не сервер.
Для чего применяются прокси
Запросы делятся на три назначения, у каждого свой режим:
- sites — обход и проверки сайтов (краулер, аудит, мониторинг, инструменты);
- domains — подбор и проверка доменов (RDAP, who.is, регистраторы, WHOIS);
- search — позиции и поисковые API.
Режимы: direct — без прокси; fallback — через прокси, при сбое прокси повтор напрямую; proxy — только через прокси, а если живого прокси нет, запрос блокируется (строгий режим, адрес сервера не раскрывается).
Общий пул (админка)
Раздел /admin/proxy доступен только владельцу. Прокси добавляются списком, по одной в строке: схема://логин:пароль@хост:порт, логин:пароль@хост:порт, хост:порт:логин:пароль или хост:порт; после # можно указать метку. Пароли хранятся в зашифрованном виде и в интерфейсе не показываются.
Ротация: rr (по кругу), random (случайно), sticky (один и тот же сайт всегда через один прокси). После заданного числа подряд неудач прокси уходит в паузу (по умолчанию 3 неудачи, 300 секунд). Список исключений (example.com или .example.com) всегда идёт напрямую. Проверка прокси определяет внешний адрес через test_url и время ответа.
Личные прокси пользователей
В /account/proxy пользователь добавляет свои прокси и выбирает назначения и режим (fallback или proxy). Личные прокси имеют приоритет над общим пулом, но только для запросов этого пользователя. Нужен лимит тарифа proxies (у free — 0, у pro — 5, у agency — 50, у владельца без ограничений) и включённый переключатель «разрешить личные прокси» в админке. Адрес прокси должен быть публичным: локальные и внутренние адреса запрещены.
Что не идёт через прокси
DNS-запросы, проверка портов, чтение SSL-сертификата и отправка почты. WHOIS (порт 43) идёт через туннель CONNECT или SOCKS5, но не через SOCKS4. Защита от обращений во внутреннюю сеть работает как раньше, прокси её не обходят.
Что важно знать
- Фоновые задачи и обход выполняются от имени пользователя, поэтому используют его личные прокси.
- При сбое хранилища запрос уходит напрямую, а не падает.
- Проверка прокси зависит от внешнего сервиса
test_url; при его недоступности прокси может показаться нерабочим.