Настройка HTTP-заголовков

Изменение HTTP-заголовков

Для управления отсылаемыми HTTP-заголовками используйте опцию headers, её значением должен быть словарь. По-умолчанию, Grab сам настраивает несколько HTTP-заголовков: Accept, Accept-Language, Accept-Charset, Keep-Alive и User-Agent. Их вы также можете переопределить опцией headers.

Настройка User-Agent заголовка

Для изменения User-Agent заголовка вы можете использовать как опцию headers, так и отдельную опцию user_agent. По-умолчанию, Grab генерирует значение для User-Agent заголовка на основе случайного выбора из множества значений User-Agent реальных браузеров. Вы также можете передать своё множество значений User-Agent с помощью опции user_agent_file, значением которой должен быть путь к текстовому файлу с User-Agent строками.

Настройка Referer заголовка

Для изменения Referer заголовка вы можете использовать как опцию headers, так и отдельную опцию referer. Для того, чтобы для заголовка Referer использовался адрес прыдыдущего запрошенного документа, включите опцию reuse_referer. Кстати, по-умолчанию, она и так включена.