Deferred RSS — защита RSS ленты
Кратко о теории
В своем недавнем материале «Противодействие плагиату RSS» я говорил о проблеме воровства контента блога через RSS-ленты. Их появление (RSS-лент) сделало очень удобным для пользователя Интернета агрегацию обновлений нужных ресурсов, но, в то же время, предоставило ворам, лентяям и пройдохам возможность легко получать чужой контент и использовать его в своих целях. Никаких отступных авторам за использование их текстов, естественно, не предлагается.
Методов защиты от этого нет, есть только варианты усложнения воровства с блогов. К ним относятся:
- отдача в RSS анонса поста, а не полной версии;
- использование ссылок на свои материалы на постоянной основе;
- установка на рисунки, используемые в постах, ссылок на блог или его страницы;
- создание всплывающих подсказок на тексте и копирайтов, помогающих установить автора украденного материала;
- замена части текста прозрачными изображениями с аналогичным текстом;
- замена русских букв на английские аналоги. (Внимание: использовать в текущей реализации нельзя)
Если вы устанавливаете ссылки на изображения, используемые в постах, и делаете внутреннюю перелинковку, то есть небольшой шанс, что вор заберет с вашего сайта не только чистый текст, но и прописанные вами ссылки. На одном блоге, куда, среди прочего, воруются и мои посты, именно так и происходит: вор оставляет ссылки в материалах. У одной девушки, чьим читателем я имею честь состоять, в постах используются изображения, но статичные, а не со ссылкой на свой блог. В результате, на упомянутом ресурсе, украденный у нее пост (за время краткого знакомства с ресурсом я только один заметил) не имеет ссылок на ее блог. А если бы девушка использовала простановку ссылок на изображения, одной входящей ссылкой на ее блог стало бы больше.
Использование адреса вашего блога и имени во всплывающих подсказках к тексту или в закомментированных строках (через <!-- и -->) позволяет легко доказать, что текст был украден с вашего блога. Еще лучше, если в RSS-ленте будет показываться ваш копирайт, свидетельствующий о ваших авторских правах на материалы. Предъявив эти свидетельства хостеру сайта вора, можно с большей уверенностью надеяться на отключение площадки преступника.
И, наконец, о том, почему замена русских букв в RSS-ленте на английские аналоги, является самым верным способом оградить вас от негативных последствий воровства. Для того, чтобы страницы какого-либо ресурса участвовали в результатах поисковой выдачи, они должны содержать уникальный текст. Страницы с неуникальными текстами вызывают подозрение поисковиков, и могут находиться на последних местах в выдаче, или вовсе не участвовать в ней. Проще говоря, неуникальный контент попадает под пессимизацию или другие негативные санкции поисковиков.
Поэтому, вопрос уникализации материалов остро стоит и перед оптимизаторами, занимающимися статейным продвижением, и перед вебмастерами, зарабатывающими на созданных для Sape сайтах. Тем не менее, из-за несовершенства поисковиков, неуникальные страницы могут достаточно долгое время находиться в индексе ПС и даже в выдаче занимать более высокие места, чем первоисточник материала.
Для блоггера это одно из самых неприятных последствий воровства: мало того, что на его труде зарабатывают лентяи, так еще и посетители идут на сайт вора, а не на его блог.
Если же страница содержит сомнительный, сгенерированный без ручной проверки текст, текст, состоящий не из осмысленных предложений, а представляющий собой «кашу», то странице с таким текстом будет сложно не только попасть в индекс, но и сложно в нем удержаться. Бессмысленный набор слов может привести к бану сайта. Забаненные площадки не принимаются к участию в биржах ссылок, а если сайт попал в бан после прохождения модерации, то площадка вскоре будет исключена из биржи.
Я говорю о биржах потому, что автоматически наполняемые ворованными материалами блоги и сайты, созданные для бирж ссылок, сейчас являются главной причиной воровства. Крадеными текстами наполняют и обычные сайты, которые зарабатывают на продажах услуг или товаров, но воровство для бирж происходит, все же, чаще.
Дальше сугубо теория, очень вероятно, что ошибочная!
Использование замены русских букв на английские аналоги, делает текст для поисковика «неразборчивой кашей», так как отличать русские буквы от английских поисковые системы вполне способны. ПС сравнивает имеющиеся на странице слова со словами из своей базы, не находит совпадений, и исключает (или не включает) страницу из поискового индекса. Какое-то время назад, уникализация текстов методом подмены букв работала, но в настоящее время, насколько мне известно, этот способ не только не делает текст на странице уникальным для поисковика, но и приводит к бану сайта. В лучшем случае, страница с подмененными буквами вылетит из индекса или просто не попадет в него. Подмена букв лишает воров главного — контента. Вор получает текст, который едва ли будет проиндексирован поисковиками, и гарантированно не будет находиться в выдаче выше оригинала.
Использование этих методов помогает если не предотвратить, то усложнить воровство текстов с блога. Если блоггер вполне способен ставить ссылки на изображения в посте, и регулярно ссылаться на свои прежние материалы, то вставка копирайта в текст, отдаваемый в RSS, а главное, подмена букв, зависят от плагинов. Некоторые плагины позволяют вставить свой копирайт в подвал фида, некоторые делают возможным вставку произвольного текста в произвольное место в RSS-посте, и ни один не позволяет сделать подмену букв. В прошлом материале, я предложил какому-нибудь гениальному программисту создать такой плагин, и гениальный программист нашелся.
Конец теории.
Переходим к практике
Deferred RSS, еще один плагин от Владимира Колесникова, выполняет сразу несколько функций. Во-первых, плагин позволяет через настройки, не редактируя шаблон и не копаясь в исходниках, отложить отправку материала в RSS на заданное время — на минуты, часы или дни. Во-вторых, в подвал RSS-публикаций можно вставить свой копирайт. В-третьих, можно в любом месте поста задать произвольный текст, который будет показан только в RSS или наоборот, в RSS показан не будет. И, наконец, в-четвертых, плагин заменяет русские буквы английскими аналогами.
Детали вы сможете прочесть на странице плагина, там же можно задать автору свои вопросы или вознести хвалу. Я лишь кратко пробегусь по своему методу использования плагина.
Внимание: подмену букв сейчас использовать нельзя! В кеше поиска по блогам Яндекса текст с моего блога был сохранен с подменой, так как поисковик берет текст из RSS при ее наличии. Разная выдача в ленте и на блоге, это похоже на клоакинг, быстро приводящий к бану. Не используйте сейчас эту функцию, не включайте ее в настройках.
Вставка копирайтов работает нормально и пользоваться ей можно.
Личный опыт
Отложенная публикация в RSS нужна для того, чтобы дать поисковым системам возможность проиндексировать контент на вашем блоге раньше, чем на сайте вора. Это немного увеличивает шансы быть признанным первоисточником, а не дубликатом. К сожалению, на автонаполняемые ресурсы, куда воруются наши материалы, поисковые боты могут заглядывать чаще, чем на блог первоисточника, так как автор выдает посты реже, нежели на сайте преступника появляются новые ворованные материалы. Увы, — чем реже вы пишете, тем меньше у вашего блога шансов быть первоисточником в глазах ПС.
Выставленную в настройках Deferred RSS отсрочку, нужно использовать для сообщения поисковикам о новом материале на блоге. Для этого подойдет и пинг, и кросспосты на блогхостинги. Кросспосты не должны быть автоматическими, так как автоматический кросспост использует RSS, а значит, новые посты появятся на блог-хостингах не раньше, чем в ридерах, и русские буквы в них будут уже заменены на английские. Лучше использовать ручной кросспостинг: краткую выдержку из новой публикации в блоге вставить в пост на livejournal.com со ссылкой на полную версию. А уже из livejournal.com настроить кросспост на другие платформы. Хорошо подойдут сообщества, где вы можете проанонсировать свой новый пост, а также социальные закладки.
В подвал публикации в RSS нужно вставить подробный текст, а не ограничиваться краткой отпиской в виде даты и значка копирайта. Читателям абсолютно не помешает даже если вы засунете туда несколько абзацев, а вот ворам совершенно ни к чему строки с условиями ре-публикации ваших материалов. Поэтому, подробно прописывайте свои условия, пусть они гордо висят на автонаполняемых сайтах.
Через синтаксис плагина можно вывести нужную информацию только в RSS-ленте, но не в блоге, или только в блоге, но не в RSS-ленте. Используйте это! Вставляйте копирайты, шлите приветы ворам, сообщайте о себе, как об авторе материалов. Еще раз повторюсь, что читателям ваши копирайты не помешают, а в блоге они будут идти как комментарий и будут видны только в исходном коде. К тексту в этих тегах можно применять стили, можно ставить ссылки, можно подгружать изображения, которые будут видны только в RSS-ленте. Ну и еще один способ применения этой функции — предоставление каких-либо «вкусностей» подписчикам. Раньше приходилось подключать еще один плагин, чтобы скрыть какое-либо содержимое блога, а сейчас можно это делать с помощью Deferred RSS. Синтаксис такой:
<!--is_not_feed-->Этот текст не попадёт в фид<!--/is_not_feed-->
<!--is_feed>Этот текст попадёт в фид</is_feed-->
С помощью плагина, также, очень легко находить воров — если вы используете какую-то неизменную часть кода, показывающегося только в RSS, то простой поиск по этой фразе выдаст вам много интересного.
Чтобы после установки и активации плагина обновить все свои посты в RSS, заменив в них буквы на английские, нужно ресинхронизировать фид в фидбурнере:
FeedBurner - обновление ленты
FeedBurner - обновление ленты
Завершая, хочу сказать две вещи:
- Огромное спасибо Владимиру Колесникову, который сразу после моего предложения начал работу над плагином и выложил его в свободное пользование.
- Пользуйтесь! Обязательно попробуйте! Более реального метода противодействия воровству я пока не видел.
Deferred RSS – настройки
Deferred RSS – вставка кода для RSS
Deferred RSS – мой копирайт в подвале RSS
Излишняя паранойя — тоже плохо. Те же вотерморки на картинках могут вызывать отторжение.
# создание всплывающих подсказок на тексте и копирайтов, помогающих установить автора украденного материала;
# замена части текста прозрачными изображениями с аналогичным текстом;
# замена русских букв на английские аналоги.
А вот эти штуки — совсем ужасны. Особенно, учитывая то, что воруют не только через RSS, а поисковики по блогам Гугла и Яндекса берут посты именно из фида.
Ровно как и вставлять копирайт в середину текста :). Скрытый в фиде текст я еще могу чуть-чуть понять, но не это.
Мммм... отложенная публикация... Ну, этот случай — фашизм по отношению к подписчикам, которые увидят запись гораздо позже. Хотя применять еще можно.
И все-таки еще раз о способах оформления копирайта — habrahabr.ru/blogs/typography/23812/ (в принципе, лебедевский тоже имеет право на существование, но это если знаки пунктуации не теряются)
А ты решил использовать все сразу? :)
Сергей М.:
Излишняя паранойя? Блог одной дамы полностью пропал из индекса после того, как ее посты перепубликовали на другом блоге.
Ну, эстетам мои предложения не подойдут, конечно, видимо, им придется ждать пока государство начнет обращать внимание на права авторов.
Копирайт в середине смотрится ничем не хуже копирайта в подвале. В блоге его не видно, а в RSS даже на рекламу внимания не обращают, чего уж к копирайту придираться? Впрочем, если вдруг от меня начнут массово отписываться из-за копирайтов в середине текста, я признаю твою правоту=) А нужны они в середине потому, что автограбберам оттуда их сложнее вырезать. Текст в подвале отрезается при воровстве, а если вставить в середину, то знамя автора будет гордно реять на сайте вора.
Фашизм? Отложить пост на час-два? А когда реклама занимает по площади больше места, чем сам пост, это толерантность?=) Это относительно.
Копирайт с условиями публикации необязателен, и юридической силы, вроде как не имеет — без моего согласия на ре-публикацию нельзя перепубликовывать, хоть сто ссылок на меня поставь. Но я указываю, чтобы в случае чего, аргумент «я не знал» не имел силы. Он и так силы не имеет, но тут уже никак не отмажешься.
Все сразу нет. Отложений нет, только перелинковка и копирайты.
А вот поиск по блогам это проблемка. Трафика оттуда не много, конечно...
Вобщем, надо писать в саппорт, выяснять. Гугл нормально ищет и выдает мой блог и в поиске по блогам и в обычном поиске. Яндекс быстрее индексирует вора. В выдаче по блогам — сохраненная из RSS копия с подмененными буквами. Гугл выдает нормальную копию, с блога.
Ладно, тут надо время, данных мало. Факт, что вылететь из индекса проще сайту с кашей на страницах, а каша будет у вора. Посмотрим.
Опция замены, кстати, есть. Можно активировать замену, можно использовать только копирайты.
Да, ты прав — из-за неидеального алогритма определения первоисточника поисковыми системами такие шаги нужны, особенно, учитывая что по-другому решить проблему или предотвратить ее не под силу обычному человеку. Вот только, опять же, сработает это на чуть-чуть и только для школьников-халявщиков. Потому как скрипт, учитывающий все возможные штуки, будет достаточно простым.
>Копирайт с условиями публикации необязателен, и юридической силы, вроде как не имеет — без моего согласия на ре-публикацию нельзя перепубликовывать, хоть сто ссылок на меня поставь.
«Не знал», конечно, в случае авторских прав не сработает даже и без надписи. Но вот пр оссылки ты зря — т.к. тексты выкладываешь в публичный доступ — на них можно ссылаться, цитировать и перепубликовывать со ссылкой (только в не коммерческих целях). И ты можешь попросить удалить материал.
И то, в части случаев я, например, просто процитировавший тебя даже без гиперссылки с надписью «написал АлексНот», проигнорирую, если ты попросишь меня убрать текст.
В случае же незаконного использования — конечно. Но судя по тому, что рассказывают знакомые, даже если вор сидит на легальном (а если абузоустойчивый — то вообще держись) хостинге, доказать авторство и заставить прикрыть дневничок сложновато. Та же беда с поддержкой в поисковых системах.
Сергей М. пишет:
Да. Но к тому времени, как они начнут менять проги, часть сайтов уже будет с кашей и, я надеюсь, вылетит из индекса. Я отписал ПС, надеюсь, ответят по этому вопросу — что точно ждать ворам с компостом из букв.
Сергей М. пишет:
Вчера читал интервью с юристом — нельзя по его словам. Любое использование материалов без согласования с автором является нарушением его авторских прав. Исключение составляет цитирование в разумных пределах. Другое дело, что законодательство слишком расплывчато дает определение, что такое цитирование или переработка в разумных пределах.
Сергей М. пишет:
Да, кажется активность гиперссылки не учитывается. Если есть просто текстовое упоминание, то этого достаточно по закону.
Сергей М. пишет:
Вот потому-то я и использую подмену букв в RSS. Это все, что я могу сделать. Посмотрю, что через пару месяцев будет, как на подмену поисковики посмотрят.
Сидеть просто так, ждать у моря погоды бессмысленно. Пусть хоть копирайты появятся на сайтах воров.
Яндекс:
Однозначных пояснений по мешанине русских и английских букв не дали. Бомжи писали, что банит Яндекс, встречал мнения, что трудно индексирует. Вот и думай...
Вылетают автоматически — и это при том, что вор моего контента в поиске находится выше меня самого.
Я лично стучу на воров хостерам, пока срабатывало. А вот последний чего-то тянет, у них, видите ли, директор болеет.
В по поводу плагина: все меры, кроме вставки копирайта в середину поста, мне кажутся ненужными. В подвал у меня вставляет другой плагин, буквы заменять не хочу, вылетят страницы с беками RSS-каталогов+меня транслирует в блогроллах некоторые блоггеры. Отсрочку мне не нужна, она уже есть. По крайней мере, GR сильно запаздывает.
Жомарт:
Да, некоторые способы сложны для ежедневного применения, но надо было упомянуть о всех возможностях=) Перелинковка вообще основа всего — и прокачки блога, и удержания посетителей, и вот защиты от воровства.
А буквы заменять не стоит, это верно. Я когда писал не подумал о поисковиках и каталогах лент, куда часто отдается фид. Если бы это отдавалось только ворам, другое дело.
Я так понимаю, что данный плагин может служить полноценной заменой Better Feed ? А то Беттерфид у меня глючит и регулярно копирайты не ставит в РСС. Пока правда со случаями воровства контента у меня не сталкивался, но все, как говорится, впереди.
NomadUA:
Как вариант вставки копирайта плагин замечателен. Можно в футер, можно в любое место вставить. Хоть картинку засовывай.
Я, возможно, еще сделаю обзор плагинов для этих целей, есть несколько хороших вариантов.
AlexNote пишет:
Вы меня совсем «растеряли» :) я уж было собрался ставить, а оказывается их еще много и будет обзор :) Ок, буду РСС читать-ждать :) поживет еще Better Feed.
NomadUA:
Попробовать плагин от Владимира, тоже имеет смысл. Работает корректно, функционален.
Плагинов около пяти, кажется, таких, более-менее адекватных.