Перевод RSS с Русского на Английский в Yahoo Pipes

Очень простой урок по переводу рсс ленты с русского на английский. Я покажу как переводить все необходимые элементы нужного вам фида, такие как название статей, описание, и сами статьи.  Возьмем для примера сайт посвященный всевозможным новостям, и найдем отдельную рубрику шоубизнесс, вот адрес фида представленного ресурсом в xml виде http://www.internovosti.ru/xmlnews.asp?rubric=showbiz.

Попробуем проанализировать что из себя представляет вышеуказанный фид. Выбираем в yahoo pipes блок Fetch feed и вносим наш адрес. Кликаем по верхушке блока, чтобы в дебаггере отобразилось то, что нам предлагает труба на данном этапе. Читать дальше »

Regex урок 1 — начало и конец строки

Создавая трубы яху, вы не обойдетесь без языка регулярных выражений, или regular expressions или сокращенно regex. Этот цикл уроков будет уделен языку regex, и примерам его работы в трубах Yahoo.

Первый урок со строкой, я пожалуй начну с выделения слов. Граница слова, на языке регулярных выражений записывается так \b. Если хотите, можно незримо представить вначале и вконце любого слова этоу пару символов. Как этим можно воспользоваться в наших пайпах? Для этого откроем холст, и возьмем ленту с любого сайта, я решил взять ленту splogoved.ru/feed.  Читать дальше »

Тонкости создания автонаполняемого сайта

Коснемся технической стороны создания сплога. Мы не будем обсуждать настройки рсс лент, а всего лишь пройдемся по реккомендациям с высоты опыта сплоговеда. Допустим нам нужна сетка из 100 сайтов.

Первое с чем сталкивается создатель сплога, это домен. Домен можно покупать пачками, но лучше все же обезопасить себя и скупать частями у разных регистраторов. Стоимость может быть разной, естественно выбирать нужно там, где стоимость стремится к нулю, потому как срок жизни домена будет не долгим, конечно за некоторым исключением, кое какие экземпляры смогут продержаться и несколько лет, все зависит от будущих алгоритмов поисковиков. Читать дальше »

Парсим поисковики

В этой статье я покажу как парсить поисковики по заданному ключу. Например возьмем поиск mail.ru. Введя в поиск значение последние новости экономики мы получим что то похожее на это.

адрес в поисковой строке

адрес в поисковой строке

Здесь нам понадобится запрос в адресной строке http://go.mail.ru/search?rch=e&q=последние+новости+экономики. Будем использовать блок URL builder, вытаскиваем его на рабочий холст Yahoo pipes. Немного разберем url запрос. Читать дальше »

URL builder

URL builder

URL builder

Модуль URL builder, позволяет управлять адресной строкой, вносить в нее нужные значения, это бывает полезно при парсинге поисковой выдачи. Не обязательно поисковых машин, это можно проделывать с поиском на некоторых сайтах.

Читать дальше »

RSS item builder

RSS item builder

RSS item builder

Модуль RSS item builder позволяет конструировать свою собственную структуру RSS. Это бывает полезно при добавлениии ленты в читалку, трепено относящуюся к структуре фида, или например при граббинге и публикации новостей на сайт wordpress, при помощи плагина FeedWordPress, который так же требователен к правильной структуре. Еще одна полезная функция данного блока, это возможность почистить структуру, от ненужной информации.

Читать дальше »

Regex

regex

regex

Модуль regex  один из самых часто используемых модулей. Этот блок поистине творит чудеса. Используя регулярные выражения, можно вносить абсолютно любые изменения в строки фида. Для работы с этим модулем необходимо знать ргулярные выражения и хотя бы базовые знания html. Читать дальше »

Как создать автонаполняемый сайт

как создать автонаполняемый сайт

как создать автонаполняемый сайт

Для создания полностю автономного сайта, без нашего участия нам потребуются такие инструменты:

  • система управления сайтом CMS wordpress
  • плагин граббинга новостей FeedWordPress

Эти два инструмена подойдут для создания обычного ГС. Скачиваем дистрибутив wordpress, если он не предустановлен или доступен для установки на вашем хостинге. Скачиваем и устанавливаем плагин для граббинга новостей FeedWordPress, примерные настройки можно найти на странице плагина. Все прикручено, осталось только указать rss ленту или несколько лент, для заимствования новостей. Читать дальше »

Плагин WordPress для граббинга новостей

граббинг RSS новостей плагином FeedWordPress

граббинг RSS новостей плагином FeedWordPress

Для автонаполняемых блогов, или сплогов на системе управления сайтом WordPress, существует замечательный плагин граббинга rss каналов — FeedWordPress. Работает просто, указываем источник, немножко подстраиваем под себя и все, сайт автонаполнется. Особенно важно то что не требует взаимодействия с кроном, плагин грабит самостоятельно. Читать дальше »

Loop

Loop

Loop

Модуль loop применяется для организации циклов, чаще всего используют для получения полнотекстовых RSS или для перевода атрибутов ленты. Не является самостоятельным инструментом, работает только в связке с другими модулями.

Для того чтобы создать связку, нужно поместить в модуль Loop другой, совместимый с ним модуль из панели инструментов. Читать дальше »