Настройка HTTP-заголовков¶
Изменение HTTP-заголовков¶
Для управления отсылаемыми HTTP-заголовками используйте опцию headers, её значением должен быть словарь. По-умолчанию, Grab сам настраивает несколько HTTP-заголовков: Accept, Accept-Language, Accept-Charset, Keep-Alive и User-Agent. Их вы также можете переопределить опцией headers
.
Настройка User-Agent заголовка¶
Для изменения User-Agent заголовка вы можете использовать как опцию headers, так и отдельную опцию user_agent. По-умолчанию, Grab генерирует значение для User-Agent заголовка на основе случайного выбора из множества значений User-Agent реальных браузеров. Вы также можете передать своё множество значений User-Agent с помощью опции user_agent_file, значением которой должен быть путь к текстовому файлу с User-Agent строками.
Настройка Referer заголовка¶
Для изменения Referer заголовка вы можете использовать как опцию headers, так и отдельную опцию referer. Для того, чтобы для заголовка Referer использовался адрес прыдыдущего запрошенного документа, включите опцию reuse_referer. Кстати, по-умолчанию, она и так включена.