URL builder

URL builder

URL builder

Модуль URL builder, позволяет управлять адресной строкой, вносить в нее нужные значения, это бывает полезно при парсинге поисковой выдачи. Не обязательно поисковых машин, это можно проделывать с поиском на некоторых сайтах.

Пример использования URL builder 

Необходимо получить страницу яндекс картинок с фотографиями по запросу audi, для дальнейшей работы. Нпример сбора ленты для ежедневного мониторинга позиций картинок определенного сайта в поисковой выдаче картинок.

Адрес поиска по запросу audi выглядит так http://images.yandex.ru/yandsearch?text=audi. Теперь нам нужно построить эту строку для дальнейшего применения. Конечно, если нам нужен один и тот же запрос, то сгодится и feetch page, но мы хотим менять наши запросы, допустим по другим маркам автомобилей. Достаем из инструментов URL builder и разбираем адрес.

Базой у нас является http://images.yandex.ru/yandsearch её мы и вписываем в поле Base. Текстовой переменной поиска является значение после text поэтому в Query parameters ставим text а в поле на против будет значение поиска, его мы будем вписывать вручную, для этого нам потребуется модуль Text input. В поля блока текстового ввода Default и Debug вводим наш поисковый запрос audi, и соединяем трубкой со значением перемменной text блока URL builder. А теперь нужно вырезать страницу и нам нужен модуль fetch page.

Парсим страницу картинок с яндекса

Парсим страницу картинок с яндекса

В дебаггере видим только одно значение 0 и в нем все картинки по запросу.

Написать ответ