Сообщения

WPGrabber не сохраняет картинки с относительными путями

Изображение
Настройка сетевых запросов WPGrabber
"Для скачивания файлов (картинок) использовать метод" -> CURL"Включить обработку редиректов" ->  Да   


Настройки  PHP (php.ini)
allow_url_fopen = On
open_basedir = off



Теперь настройки ленты, варианты:
1). Путь начинается со слеша(/)
Шаблон поиска ~src="/~is
Шаблон замены src="https:// илиsrc="http://




2). Если путь начинается с двойного слэша (//)
Шаблон поиска ~src="//~is
Шаблон замены src="https:// илиsrc="http://

Парсинг в WPGrabber с авторизацией

Изображение
Встречаются сайты, ограничивающие просмотр
для не зарегистрированых посетителей.

Типа такого: You have viewed your 1 free article

В WPGrabber для WordPress это выглядить как текст не найден!

Предлагаю простое решение: подложить cookiesзарегистрированного пользователя. 

Для этого используем плагин для Firefox тормозиллы :)
Устанавливаем Cookie Exporter, регистриремся на ресурсе,
В меню "Инструменты" -> "Export Cookies..." сохраняем под именем "cookies.txt" в папку временных файлов 
Обычно это "/wp-content/wpgrabber_tmp/"
 Файл cookies.txt выглядить примерно так:
Проверяем:
Страница с контентом:
Естественно, что периодически сессию придётся обновлять. Кроме этого надо добавить в файле TGrabberCore.php в  функцию getContent curl_setopt($ch, CURLOPT_COOKIEFILE, $this->cookieFile);
            curl_setopt($ch, CURLOPT_COOKIEJAR, $this->cookieFile);

а в function __construct()  добавить         $this->tmpDir     = $this->rootPath . $thi…

Пример импорта статей с forexlive.com для WPGrabber

Изображение
1) Создаем новую ленту в настройках плагина WPGrabber для Wordpress.
В строке «Наименование ленты» можно записать любое имя нашей настройки импорта, я обычно пишу URL без протокола, например: «forexlive.com/technical-analysis».

Настройка лент WPGrabber

Изображение
Заказать настройку лент к плагинам WPGrabber
Цена настройки лентЦена настройки 1 ленты (ссылки) автонаполнения составляетвсего 200 руб. (заказ от 10 и более лент идет по цене150 руб).Перенастройка неработающих лент 100 руб. (Только заказанных и настроенных у меня. Левые ленты перенастраивайте по полной цене!!!)



Настройка плагина WPGrabberвключает автообновление, подключение API-ключ Яндекс.Переводчика, CRON-задание, порядок и периоды обновления лент, интервал запуска процессов, устранение неполадок и многое другое.

Telegram: @servakov








Просмотреть работу плагина на примерах граббинга контента с нескольких сайтов.
Пример парсинга ленты foto-interiors.com плагином wpgrabber 

Импорт контента в блог со стен групп и сообществ соц. сети Вконтакте.ру

Пример парсинга ленты tourprom.ru плагином wpgrabber



11.05.2018 вконтакте обновил разметку, обновление плагина wpgrabber 2.1.315

Настраиваю не более 10 - 20 лент в сутки.

При большом количестве заказов, сроки выполнения могут затянуться до 3 суто…

Как настроить авто обновление лент в WPGrabber используя CRON на сервере?

Изображение
Для того, чтобы ваши ленты в WPGrabber обновлялись регулярно и автоматически по определенному расписанию (через определенные промежутки времени)

Вам необходимо настроить CRON-задание на сервере, которое будет делать запрос по адресу:

http://ваш_сайт/?wpgrun=1

Всю эту настройку нужно производить в панели управления вашего хостинга.

Для начала убедитесь, что у вас есть такие возможности. Найдите в панели управления хостингом раздел "CRON" (Управление CRON, Планировщик CRON, CRONTAB, CRON-задания и т.д.).

Далее есть несколько вариантов настройки CRON-задания. Использование какого-либо из них зависит от настроек и возможностей вашего хостинга. Лучше всего почитать Справку или FAQ по настройке CRON-задание у вас на хостинге. Так же можно обратится к технического поддержке вашего хостинга с просьбой: "Прислать пример отправки GET-запроса по адресу http://ваш_сайт/?wpgrun=1 ".

Варианты CRON-заданий:
Через wget
Пример CRON-команды:

/usr/bin/wget -O 'http://ваш_сайт/?wp…

Где WPGrabber сохраняет свои настройки?

Изображение
Настройки лент WPGrabber сохраняет в таблице
wp_wpgrabber

Ссылки, которые уже импортированыWPGrabber сохраняет в таблице wp_wpgrabber_content


Настройки WPGrabber, которые по адресу (wp-admin/admin.php?page=wpgrabber-settings
)  сохраняет в таблице wp_options

Ошибки WPGrabber сохраняет в таблице wp_wpgrabber_errors

Все таблицы находятся в базе, к которой  подключен ваш wordpress.
Можно посмотреть и отредактировать с помощью phpmyadmin.