WordpreSED - плагин-дорген для CMS Wordpress
Инструкция по WordpreSED v1.3 (user guide)

Видео обзор

 

  • Внимание! Выбирайте какое-нибудь произвольное название папки с плагином на хостинге.
  • Чтобы плагин работал в автоматическом режиме (парсил информацию по ключвевым словам и генерировал статьи из напаршенного) для него нужно создать на сервере крон задание, со ссылкой, которую Вы можете взять в Настройках контроля крона.

Раздел WordpreSED - главная страница плагина

Давайте перейдем в первый раздел плагина, на его главную страницу [1].
На этой странице отображается разнообразная статистическая информация.

Окно под заголовком «Статистика» [2], с названием «Общая статистика WordpreSED».

В этом окошке отображается общая информация по кеям и их статусам.
«Все Кейворды» [3] – показывает количество всех кеев добавленных в впсед, кликнув попадаем на страницу статистики со списком всех наших ключевых слов
«С постами» [4] - показывает нам сколько по скольким кеям отработали парсеры и созадана страница, выводятся все ключевые слова, включая спаршенные, но запланирнованные, тоесть еще не опубликованные.
«Опубликовано» [5] – показывает количество опубликованных кеев
Подзаголовок «Состояния» – отображает состояния/статусы загруженных ключевиков.
«Холд» [6] - этот статус можно поставить на любой кей. Он будет означать что кей не будет участвовать в репарсинге и парсинге по крону а так же его невозможно удалить при групповом удалении. Полезно, когда пост, созданый по кею редактировался в последствии руками и вы не хотите что бы контент в нем изменялся при каких либо действиях с вашей стороны, например смена категории кея.
«Нормал» [7] - показывает количество ключевых слов With posts
«Для репарса» [8] - запланированные кеи. Все свежедобавленые кеи имеют этот статус по умолчанию (т.е. все слова без поста становятся в очередь на крон распарс.) Отдельный статус «Для репарса» нужен кеям, по которомы уже был спаршен контент (и создался пост) но качество поста не устраивает или сменилась категория и соответственно паттерн, по которому парсится и выводится пост и пост надо перепарсить. Такой кей становится в очередь на перепарс вместе с остальными кеями. Так же полезно для того что бы показывать на некоторых страницах активность по изменению контента.
«Без постов» [9] - просто добавленные кеи по которым не производился парс.

Ниже идет заголовок «Рубрики» [10]. В этих окнах представлена абсолютно та же информация что и в «Общей статистике», только разбитая по существующим, в вашем Wordpress сплоге/дорвее, категориям.

В правой части экрана располагается слайдер-гармошка, при раскрытии одного из табов слайдера, мы видим график статистики отработки одного из парсеров.

Какую информацию для себя мы можем почерпнуть из статистики?

В заголовке присутстсвуют 3 таба – текст (text), изображения (images), видео (video), а ниже располагаются вкладки с названиями ресурсов и отчетов по парсингу с их использованием.

При раскрытии вкладки [11], нам будет показан графический вариант отображения скорости парсинга в зависимости от времени, таким образом мы наглядно сможем увидеть насколько успешно парсер справляется со своими обязанностями и как часто бывают перебои в скорости.

Под графиком идет таблица, из которой мы можем получить такие данные как Дату и время последнего использования парсера [12], кейворд на котором этот парсер отработал [13], а также время, за которое был спаршен результат по этому кею [14].

На этом мы заканчиваем обзор главной страницы плагина и переходим на страницу под названием «Кейворды».

Раздел Кейворды - добавляем кеи/категории, работаем над шаблонами постов

Это основная рабочая область, здесь мы загружаем кеи, создаем категории и задаем паттерны по которым будет выводиться информация на страницах кеев, принадлежащих данной категории. Но обо всем по порядку.

Слева, вверху мы видим окно, под заголовком «Добавить ключевые слова» [2].
В этом окне мы можем добавлять ключевые слова как списком [3], так и загружая их файлом в формате txt [4].

  • Внимание! Существует ограничение на размер загружаемого файла – 4мегабайта)

Добавляя ключевые слова, вам необходимо также выбрать из выпадающего списка категорию/рубрику для них или, нажав на кнопку с плюсиком создать новую категорию [5]. Мы хотим создать новую категорию, в которую будем добавлять слова. Поэтому нажимаем на кнопку (в нашем случае кнопка уже была нажата и функционал добавления категории развернут).

Перед нами открывается дополнительная область, под заголовком «Добавить новую рубрику», со следующими полями и областями:

«Заголовок» [6] – вводим название нашей рубрики.
«Родительская» [7] - указываем родительскую категорию для нее, если необходимо.
«Копировать настройки из» [8] - здесь мы можем скопировать настройки одной из уже существующих рубрик, путем ее выбора из выпадающего окошка. Скопируются шаблоны постов, настройки магнитных масок, а также настройки парсеров, которые будут обслуживать эту группу.
Затем идет область под названием «Шаблон поста» [9] со списком кнопок под разными названиями, это редактор наших шаблонов (pattern’ов). Что на кнопочке написано, то и будет вставлено в шаблон.
В нашем случае это макросы текста, изображений, видео и другие служебные макросы.

Что каждый из них означает:

Макросы «[text] и [texts]»: первый вставит 1 сниппет из полученного массива, второй вставит все сниппеты, полученные при отработке парсера.
Макросы «[video] и [videos]»: работают аналогично макросам текста и изображений.
Максросы «[image] и [images]»: по аналогии с текстом вставит либо код одной картинки, либо коды всех, полученных при отработке парсера.
Максросы «[imagec] и [imagesc]»: по аналогии с текстом вставит либо код одной картинки, либо коды всех, полученных при отработке парсера, но этот макрос отличается еще и тем, что под изображениями появляется кликабельная надпись «Copywright violation». Придумано это для того, чтобы после нажатия на эту надпись скрывать изображения по абузе о нарушении авторских прав на изображении. Пользоваться или нет данным решением дело каждого отдельно взятого вебмастера. Думаю будет актуально в англоговорящем интернете.
Макрос [url]: вставит ссылку с анкором на рандомный из существующих в БД вордпресса постов.
Макрос [externallink]: вставит рандомную ссылку одного из ваших блогов на вордпреседе, указанных в настройках внешних ссылок (об этом поговорим на странице опций).
Макрос тега [more]: тем, кто работал с вордпрессом, этот тег уже давно знаком, тем кто не работал скажу – тег <!--more--> отвечает за разбиение поста на короткую новость и полную.
Макрос [keyword]: выводит текущий ключевик страницы.
Макрос [img_url]: вставит url адрес рандомной картинки спаршенной по кею страницы.
Макрос [randomtext]: этот макрос использует данные из раздела «Контент+», то есть дополнительного контента, загруженного пользователем. Макрос вставит случайную строку файла заранее загруженного пользователем. Не путать с текстом добавляемым через textbox!
Макрос [\n]: вставляет переход на новую строку.
Разделитель «More Content»: это одна из фишек WordpreSED'a. Если по кею уже существует пост\контент, то при изменении статуса на «Дополнительный контент» по кею допаршивается контент и добавляется в существующий пост. Что добавлять решаете вы, например вы можете после данной метки вставить макрос text и макрос image, в таком случае после разделителя [morecontent] будет вставлен 1 сниппет и одна картинка.
Разделитель «NextPattern»: это внутренний разделитель, вставляя его ([nextpattern]), вы даете понять плагину, что в этом месте заканчивается один pattern и начинается другой. Таким образом вы можете задать неограниченное количество шаблонов/pattern'ов постов для категории, чтобы посты не выглядели однообразно.

  • Важно! Хочется отметить, что пэттерны поддерживают html конструкции, тоесть вы спокойно можете вставлять все макросы в таблицы, обертывать их различными тегами применяя к ним собственные стили и так далее.

Закончили создание пэттернов, идем ниже и видим чекбокс под названием «Всегда Магнит» [10].

Что означает данная настройка?

«Всегда магнит» [10] – это своеобразный флаг-липучка для категории, он означает что категория становится магнитной и автоматически в нее притягиваются ключевые слова, подходящие под «Магнитные маски» [11]. Эти маски можно задать здесь же, чуть ниже в текстовой области.

Чтобы окончательно для вас все стало понятно приведем пример: добавляем 3 тысячи ключевых слов в одну какую-либо категорию, кроме дефолтной и нам лень все разбивать по категориям вручную. Мы создаем категорию Барселона, делаем ее магнитной, вводим в текстовое поле липкие маски (в нашем случае это будет слово Барсел, поскольку хотим прилепить в эту категорию все слова включающие название города Барселона) и когда подходит очередь ключевого слова на парсинг, оно магнитится к нужной категории и пост создается по паттерну и в соответствии с выбранными парсерами Магнитной категории Барселона.

Последняя настройка, она является необязательной - это «Seo тайтл кейворда» [12]. Строка введенная в это поле, автоматически будет приписываться например в тайтл данной рубрики. Поддерживается конструкция вариаций вида [var1|var2|var3], при использовании которой будет использован 1 из вариантов.

Надеюсь все понятно с добавлением ключевых слов, категорий их настройками и созданием паттернов категории.

Идем дальше, ниже располагается окно с очевидным названием – «Экспорт в файл» [13]. Есть возможность импортировать наши ключевые слова [13.1], а также скачать Relations File [13.2], это файл определенного формата, в котором находятся названия категорий, в том числе их ЧПУ (slug), а также связи этих категорий с наборами парсеров WPSED.
Импорт/экспорт Relations File может понадобится для того, чтобы при создании последующих сплогов Вы не тратили время на воссоздание структуры категорий и задания каждой категории своего набора парсеров.

Чуть ниже, располагается окно под названием – «Import relations from file» [14]. Формат этого файла может изменяться со временем и версиями WPSED, поэтому для того чтобы определить формат файла, на уже настроенном WPSED (с категориями и выбранными наборами парсеров для них) произведите экспорт файла [13.2], посмотрите как он устроен, а затем изменяйте его под свои нужды.

Логика работы импорта:

Если категория с таким slug (ЧПУ) уже существует - к ней прикрепляются указанные парсеры, если нет - создается и прикрепляются. Поиск парсеров производится по имени, поскольку от сайта до сайта ID's могут меняться, так что не стоит переименовывать парсеры.

Переходим к таблице ключевых слов, которая находится в правой части экрана.

В таблице 4 столбца:

  • чекбокс [15] для того чтобы отмечать строки и затем выполнять различные операции над кеями и постами
  • «Тайтл» [16] – кей который мы добавили, а также одновременно заголовок новости
  • «Пост» [17] – ссылка на готовый пост по кею, если есть
  • «Рубрика» [18] – это та категория, к которой относится ключевое слово на данный момент.

Рядом с ключевым словом мы можем видеть кружочек серого/красного/зеленого и других цветов, это так называемый статус слова [19].

Всего существует 6 статусов:

  • «серый» изначальный кружок означает что по кею еще не создано страницы и кей находится в запланированных на парсинг
  • «красный» – означает что в категории к которой отнесен кей отсутствуют парсеры
  • «оранжевый» статус это тот же «серый», но в данном случае означает что пост есть, но его нужно пересоздать, сделать репарс
  • «синий» статус – холд мы уже рассматривали в самом начале, повторимся холд означает что кей не будет участвовать в репарсинге и парсинге по крону а так же его невозможно удалить при групповом удалении
  • «зеленый» статус - означает что страничка по кею спаршена.
  • «фиолетовый» статус – это статус, который означает что уже созданный пост должен быть дополнен дополнительным контентом. Помните мы с вами чуть раньше, при обзоре макросов, говорили о разделителе и логике MoreContent.

Хочется отметить, что нажимая на значки статусов в верхней панельке [20], вы можете фильтровать кеи согласно их статусу, а при нажатии кнопки «All», будут выведены ключевые слова во всех статусах.

Также есть дополнительные параметры фильтрации [21], например вы можете отфильтровать кеи по категории или по параметру «Stages».

Stages – это поколения кейвордов, они исчисляются таким образом: stage1 – корневой ключевик, который мы сами задали, stage2 - кей который был создан из заголовка сниппета, который был спаршен по кею stage1 итд

Либо вы можете производить обыкновенный поиск по слову содержащемуся в кее.

Какие массовые действия мы можем выполнять над кеями?

«Удалять», ставить в статусы «Холд/анхолд», «Дополнить» (статус для распаршивания дополнительного контента), отмечать «Для репарса», а также менять категорию/рубрику кеев выбрав пункт «Изменить рубрику».

  • Внимание! Чтобы сменить рубрику у ключевых слов, необходимо проставить галочки в чекбоксах нужных слов, затем выбрать действие "Изменить рубрику", указать категорию и нажать кнопку "Изменить".

Отдельно под каждым ключевым словом, при наведении мышкой на него появляется меню

в котором мы можем сделать немедленный «Репарсинг» [1] кея, «Отметить» [2] пост, то есть запланировать для репарсинга, поставить в статус «Холд» [3], который заблокирует пост, чтобы он, к примеру, случайно не перетерся при репарсинге и т.д., запланировать на парсинг дополнительного контента («Дополн.» [4]), а также «Удалить» [5].

  • Важно! Изображение было специально сведено, чтобы вы отметили для себя важный момент: над словом в статусе «Hold», можно производить только одну операцию - «Unhold» [6].

Следующий пункт меню нашего плагина – парсеры, переходим к нему.

Раздел Парсеры - задаем парсеры для наших категорий.

Переходим в данный раздел и видим перед собой примерно следующую картину, за тем исключением что на нашем скриншоте уже расставлены некоторые галочки и произведены тесты парсеров.

В данном разделе мы можем увидеть какие парсеры на данный момент есть в плагине [2], можем протестировать их работоспособность путем нажатия на кнопку «ТЕСТ» [3] рядом с названием плагина, а также выбрав предварительно Категорию в списке слева, отметить для этой категории чекбоксами необходимые парсеры [4].

Это работает и в обратном порядке, то есть кликнув на строку, с каким-либо парсером слева, мы сможем увидеть в каких категориях он активен (категории в которых активен парсер будут отмечены чекбоксами)

После нажатия на кнопку «ТЕСТ» [3] выбранного парсера, в строке парсера появятся цифры [5], которые нам скажут за сколько отработал данный парсер, а ниже появится результат выполнения работы парсера по рандомному ключевому слову [6], тем самым давая понять рабочий парсер или нет.

Существует 3 категории парсеров: это всем привычные текст, картинки и видео.

Колонок с чекбоксами две: первая отмечает парсер для парсинга основного контента, вторая отмечает парсер, который мы хотим использовать для дополнительного контента.

Сделано это для того, чтобы была возможность парсить дополнительный контент из другого поисковика и не было дублей контента из основного поста.

Раздел Контент+ - загружаем свой контент для WPSED

На этой странице мы можем добавлять «Пользовательский контент». Это может быть что угодно, например текстовка сгенеренная сторонним доргеном или напаршенная из других источников или рекламные блоки.

У нас есть 2 варианта использования своего контента:

  • Добавляем через окошко текст/html код/javascript [2], используем шорткод добавленного контента [5] чтобы вывести его в посте целиком(!). Шорткоды - служат в качестве макросов, выводящих необходимый контент в посте.
  • Загружаем текст в текстовый файл [3], который физически располагается здесь wp-content/plugins/wordpresed/export/randomstxt.txt . Рандомная строка из этого файла выводится макросом [randomtext], который мы обсуждали ранее, когда рассматривали раздел Кейворды и создание шаблонов/pattern'ов.

Хочется обратить внимание на чекбокс под названием «Скрипт» [4], его нам предлагается поставить сразу после того как мы ввели название нашего контента.

Если мы отметим этот чекбокс и добавим код яваскрипта в текст бокс, при выводе в тело поста он будет обрамляться стандартными тегами, обозначающими вставку яваскрипта <script type="text/javascript"></script>.

Если же мы не отмечаем чекбокс, в текстовое поле мы можем добавлять текст или например хтмл конструкцию.

Переходим к следующему разделу – Пользовательские парсеры

Раздел Пользовательские парсеры - создание своих парсеров

Существует возможность создавать свои парсеры, используя унифицированную систему ввода-вывода. За подробностями обращайтесь в Support.

Переходим к заключительному пункту меню – к опциям.

Раздел Опции - различные настройки, необходимые скрипту

Опции разделены на 5 вкладок: это «Настройки контроля крона», «Настройки созданных записей», «Настройки Curl и прокси», «Настройки саморазрастания» и «Настройки внешних ссылок».

Начнем с первого пункта – «Настройки контроля крона».

Мы можем включить или отключить публикацию записей по крону [3], а также задать токен для защиты нашего крона [4].
И следующим пунктом идет ваша крон-ссылка с текущим токеном [5], именно ее и нужно использовать в крон-заданиях на вашем сервере, для того чтобы WPSED выполнял возложенные на него функции по парсингу и публикации постов.

Не забываем сохранять изменения [6].

Переходим к пункту «Настройки созданных записей».

Здесь есть следующие настройки:

[3] «Публиковать созданные записи» - эта настройка задает временные интервалы между постами. Постам присваиваются даты публикации с промежутками, к примеру, в 15 минут (как на изображении) между каждым новым и предыдущим постом.
[4] «Создавать постов за один сеанс парсинга» Следующей настройкой мы задаем количество кеев, которые будут распаршены за 1 крон задание и будут созданы посты.

  • Важно! Желательно выставлять не особо большое количество, чтобы избежать бана IP сервисами которые мы парсим.

[5] «Reparse only existing posts?» - опция была добавлена по просьбе тех, у кого уже много постов напарсилось неправильно. Если выбрана эта опция, то парсятся только те кеи, по которым уже существуют посты и плюс к тому они поставлены на репарс. Если эта опция не выбрана - опять парсится/репарсится все в случайном порядке.
[6] «Охватывать сниппеты абзацем?» - если выбрана эта опция - каждый сниппет берется в тег <p></p>. В этом случае контент поста выглядит чуть лучше, но нельзя будет добавить какой-то класс или еще что-то. Если опция отключена - простора для творчества больше, но шаблону надо действительно придать какой-то нормальный вид.
[7] «Генерировать метки к записи?» - если "да" - к посту генерятся метки/теги. Метки делаются из слов самого кейворда, состоящих более чем из 3 символов.
[8] «Генерировать сабнейлы к записи?» - если выбрана эта опция и если для текущего кейворда включен хотя бы один парсер картинок (и если он вернул хотя бы одну картинку), то из случайной картинки, которую вернул парсер, будет сгенерирован самбнейл (тумба, thumbnail, featured image) для поста этого кейворда.
[9] «Фильтры сниппетов» - в это поле можно вписывать регулярные выражения, соответствия по каждому из которых заменяются на пустой символ, таким образом очищая сниппеты. Создать и проверить регулярку можно на http://rubular.com/, но если там пишем регулярку без слешей, то тут нужно писать так, как указано в подсказке под полем.
[10] «Создавать комментарии» - если выбрать вариант "Да", перед вами откроются дополнительные настройки, отвечающие за создание комментариев.

Если выбрана эта опция - во время парсинга кейворда создаются комментарии к постам. Комментарии создаются из напаршенного контента.

Выбрано "к текущему посту" (Add comments to current post) [5] - создаются именно к текущему сразу, если не выбрано - то нужно указать, к какому количеству рандомных уже существующих постов их создавать («Количество комментируемых записей») [4].

Ниже идет настройка «Количество добавдяемых комментариев» [6] (случайно, "от" и "до"), здесь вы задаете сколько комментариев будет создаваться для каждой записи.

Еще ниже располагается настройка «Load Comments From File» [7] - она дает возможность загрузить свой файл с комментариями и использовать его, вместо дефолтных сниппетов. Используется файл http://site.ru/wp-content/plugins/[wpsed]/export/commentsfile.txt

[2] «Autopublish autocreated comments only» - публиковать/аппрувить только те комментарии, которые созданы плагином. Если выбрана эта опция - люди не дождутся публикации своих комментов, которые были отправлены после выбора этой опции, но и спамеры этого тоже не дождутся.

Идем далее - «Настройки Curl и прокси»

Здесь не должно возникать никаких вопросов. Присутствует 4 текстовых области:

[3] «Браузеры» - можно добавить список юзер-агентов, которыми мы хотим представляться при парсинге
[4] «Прокси» - можно вписать http прокси и сокс5, с авторизацией и без
[5] «Интерфейсы IPv4» - можно вставить список интерфейсов, т.е. дополнительных IPv4-адресов закрепленных за вашим сервером
[6] «Интерфейсы IPv6» - можно вставить список интерфейсов, т.е. дополнительных IPv6-адресов закрепленных за вашим сервером

Переходим ко вкладке – «настройки саморазрастания»

Те самые, которые являются одной из изюминок генератора дорвеев SED 3го и 4го поколения, с тем отличием что ссылки из заголовков не проставляются.

Мы можем включать или отключать логику саморазрастания [3].
Указать из скольких слов будут создаваться ключевые слова [4] (учитываются слова больше 3х символов).
Указать количество уровней распаршивания [5]. 1 – это наш изначальный кейворд, таким образом с этой настройкой не будет создано новых страниц, 2 будет создан второй уровень и так далее до 9го уровня вложенности.
Также существуют черный [6] и белые [7] списки, поддерживаются маски слов. Главным является черный список, таким образом если слово есть в черном и белом списке, оно будет отработано только по черному списку и ссылки включающие в себя это слово не будут созданы.
[8] «Keywords filter» - работает по аналогии с фильтром сниппетов для тех кейвордов, которые создаются при саморазрастании. Фильтраци регекспами призвана очистить кеи так, как захочет пользователь.
[9] «Новые кейворды должны содержать» - можно выбрать, что должны содержать или не содержать новые кейворды. Кириллица или никакой кириллицы, Латиница или никакой латиницы. Эта настройка нужна, чтобы не отходить от нужной тематики/языка.

Вкладка – «Настройки картинок»

[3] «Глубина парсинга картинок» - если пользователь хочет ограничить количество спаршенных картинок, для увеличения релевантности, он может выставить эту опцию в нжное число. И парсеры по тем ПС, которые поддерживают такие ограничения, будут возвращать меньшее количество картинок, но всегда первые и релевантные.
[4] «Сохранять картинки» - опция говорит сама за себя, если указать "да", то картинки будут сохраняться локально на вашем сервере, если "нет", то будут сохраняться только ссылки на сами картинки.

  • Важно! Логика работы следующая:

    Сохранять картинки? Да/Нет/Ссылка на картинку как есть


    1) Да - изображения сохраняются локально на сервер (максимально быстрая загрузка страницы в случае большого количества картинок в посте)
    2) Нет - Не сохраняются и в этом случае используется настройка "База генерированной ссылки на картинку:". Идет подтягивание курлом, поэтому это дольше.
    3) Ссылка на картинку как есть - не используется "База генерированной ссылки на картинку:", выводится соответствующая линка по айдишнику из шорткода
  • Внимание! Помните, что сохраняя изображения на сервер, вы используете жесткий диск, при массовом создании сплогов, при большом количестве картинок это выливается в десятки и сотни гигабайт!
[5] «База генерированной ссылки на картинку» - основная часть названия псевдо-файла, который используется для подгрузки всех изображений на нашем сплоге. Все ссылки картинок будут внутренними.
[6] «Действие Abuse ссылки» - эта настройка относится к логике сокрытия изображений по сигналу от правообладателей. Выше мы уже рассматривали макросы, которыми выводятся такие изображения. Данная настройка дает на выбор 3 варианта действия с картинкой, в случае когда произошло нажатие на ссылку copywright violation под ней: никаких действий, уведомить или удалить картинку.

Вкладка – «Настройки внешних ссылок»

На данной вкладке мы можем указать домены, которые используются логикой и макросом External Link, создавая внешние ссылки из наших постов на эти домены, в тех местах где использован соответствующий макрос.

Вписывать свои ресурсы с установленным WordpreSED’ом на «борту» нужно не как example.com, а как http://example.com, или http://example.com/ и еще важно, чтобы там действительно был WPSED и в коневой директории сайта лежал файл externallink.php (он может не создаваться автоматически по причине нехватки прав на запись)

Всем спасибо, с вами был SafariLive, до новых встреч!