trackback

Спам технології, дві сторони медалі

2008-03-04T01:08:33+02:00

Меню 8) сторінки [hide]

Prolog.
Рiзновиди спаму.
Коротко Epilog

Prolog.

Привіт...
Довго тримав в собі дану статтю, в основному вивчаючи людську психологію, переглядаючи можливості всіляких фільтрів та антиспам сервісів, а також читаючи коментарі до різноманітних антиспам флешмобів в інтернеті...

Отже - спам. Що це - розповідати було б смішно і п-а-д-о-н-к-і написали б - архі-б-а-я-н.
А розповім я про технології, так би мовити spam inside.

Знаю, що глянувши на лічильники даного веблогу можна одразу почати недовіряти тексту і Ваше право робити з цією інформаціює все, що Вам захочеться.

Вернусь до наших баранів.
На цю статтю частина людей буде дивитись із боку боротьби проти спаму, а частина - спамери.
І тих і тих я поважаю, Ви обрали свою позицію усвідомлено.
Враховуючи це - буду описувати методи спаму і методи антиспаму, хоча я особисто рахую, що найкращий метод антиспаму - премодерація+постмодерація одночасно.

Рiзновиди спаму.

поштовий спам
спам в трекбеках
спам в пінгбеках
referrer спам
спам в коментарях
блогспам
пошуковий спам
спам в рейтингах(TOP спам)
спам в месенджерах
javascript спам
антиантиспам
клоакінг
rss спам (для пошуковиків)
будь-які модифікації всіх вищеназваних

Список неповний і буду радий, якщо мені допоможуть його "наповнити".
Загалом можна переозначити поняття спаму... Це вже не тільки електронна пошта... Це щось небажане...

Почтовий спам - email-spam

Думаю з цим терміном знайомі всі користувачі інтернету... Просто небажана пошта, реклама, яку не замовляли, вкладення з вірусами. Особліво небезпечні варіанти ті, які втираються в довіру до користувача - в ідеальних випадках, якщо лист приходить наче від Вашого друга, або знайомого, іноді навіть із реальною електронною адресою друга... З цим я зустрічався в англомовному сегменті, де спамери набагато досвідченіші за наших і формують бази електронних адрес та зв'язки між ними.

Метод 1 - spyware

Простий - Генерується електронний лист в основному автоматом, з використанням лівих електронних адрес, іноді з посиланням "Unsubscribe", яке приводить на якусь сторінку, що для спамера відображає факт - електронна адреса активна... Ніхто звичайно Вас не відпише, більше того - про Вас з допомогою спеціальніх скріптів можуть дізнатись додаткову інформацію(в основному GEO).

Росзилається такий спам в основному на дуже велику кількість електронних адрес з метою збору статистики.

Складний - з метою збору цільової аудиторії та викрадання інформації. В даному випадку розсилаються сторінки, що мають характер троянських коней. Можуть повністю імітувати роботу відомих вебсервісів (Paypal, MSN, MySpace etcetera). В цьому випадку Вас намагаються "взяти на понт" і заставити Вас ввести персональні дані після переходу по посиланню...

Листи щастя. Одна із методик збору реальних електронних адрес. В такому листі може бути зовсім безневинна інформація в вигляді набору класних картинок, анекдотів etcetera. Спамер відсилає таке повідомлення в надії, що його будуть багато разів пересилати (Forward) багатьом отримувачам, в результаті йому(спамеру), завжди будуть приходити копії з достатньою кількістю реальних електронних адрес.

Спам-антиантиспам - лист складається з двох частин - текстової та графічної. Текстова частина може бути прихована методами HTML із розміром шрифта в 1 пункт, а головну інформацію несе відповідно картинка.

Відмічати дане повідомлення як спам в фільтрах необхідно лише після перевірки текстової частини... В основному там текст, який ніколи не вважається спамом і відмітивши цей лист як спам Ви послабите фільтруючі властивості Вашого антиспам фільтра.

Антифільтр - спам, який пробиває ваш фільтр різноманітними методами. Один з них - наведений прикладом више, інші:
- Некоректне вказування кодування в листі, щоб ваш фільтр не знайшов "спам" слів
- Приховування тексту методами html
- Використання в тексті популярних слів (Google, Microsoft, Compaq) англійською та подальший текст - Російською.
- Навчання спамерами відомих фільтрів з метою зараження центрального репозиторія (Akismet, httpbl etcetera).

Метод 2(доброякісний) - adware

Реклама цільових продуктів. Спамери, заробляючи гроші, знаходять клієнтів, що присилають Вам банальну рекламу. В основному проблем із такими листами немає.
Спам повідомлення через Сервіси коротких повідомлень. Думаю кожен власник одного з ICQ, YahooIM. MSN IM, Jabber IM etcetera хоч один раз в житті зустрічався із повідомленням, яке неслов собі спам.
Спам-посилання - приходить лист із Одним реченням-посиланням, що намагається привернути увагу цільової аудиторії.

Метод 3(комбінований) - spyware+adware

Тут вже спамери роблять різноманітні комбінації скажімо безневинної реклами та вірусу, або Листи щастя із словом-реченням, яке точно має характер спаму(воно візуально може навіть не відобразитись у Вас, приховане методами HTML) і націлене не пробій Вашого антиспам фільтру задля того, щоб наступне - реально спам повідомлення проскочило та відобразилось у Вас.

Як генерується spam

Через недосвідченість деяких адмінів, що залишають відкритими почтові сервери, спамери можуть використовувати їхні сервери для розсилання ( Мав практику аналізу такого сервера )
Використовуючи віруси трояни, а також rootkit-и спамери встановлюють на клієнстські машини(Windows) почтові сервери і з цих машин розсилають почту (Сам був нещодавно свідком такого взлому, безпосередньо в себе в офісі).
Використовуючи помилки в відомому програмному забезпеченні вебсерверів та вебпрограм можуть ламати їх та записувати на сайт спеціальні скрипти, з допомогою яких можуть відправляти спам прямо з Вашого вебсайту. ( Мав практику безпосередньо на своєму вебхостінгу в минулому, коли зловмисник через дірку в відомому cms залив на вебсайт php скрипт)
Купляється якийсь пробний і дешевий хостінг, через який розчисається спам аж до моменту, поки його не закриють.

Спам в Інтернет - internet-spam

Я спеціально відділив окремим пунктом цей спам, бо НМД - він проходить найбільш активну стадію розвитку зараз в Українському сегменті(і не тільки). Враховуючи доступну монетизацію інтернету, кожен більш-менш обізнаний з комп'ютерним світом починає оптимізацію своїх ресурсів, з яких заробляє гроші.

Спам в коментарях, trackback spam

Думаю кожен вебсервіс, в ядрі якого присутня вільна можливість дописування інформації відвідувачами, мав практику отримання такого спаму.

Мета спаму

Перша Мета - Посилання на сторінку, рейтинг якої спамер намагається підвищити.
Останнім часом з'явились дуже складні методи спаму, в результаті яких додається коментар дуже схожої тематики, в основному вручну, іноді дуже навіть по темі в розрахунку на те, що модератор не забанить даний допис і посилання буде працювати. Іноді посилання публікується звичайним текстом, в розрахунку на те, що користувачі перейдуть по ньому вручну.
Як боротись з таким спамом? Нажаль лише постмодерація + чорний список посилань та ключових слів.
Інша мета - антиантиспам. Якщо Ви натиснете на такому повідомленні - "помітити як спам", Ваш фільтр послабить свою пильність.

Заборонено використання автоматичних фільтрів типу Akismet, httpbl, bayesian базованих а також інших роботів, які аналізують контент та складають імовірність спаму. Якщо ви на такому повідомленні натиснете спам - Ваш фільтр почне ловити нормальні повідомлення.
Якщо ж Ви все-таки хочете покластись на "розум" робота - вмикайте премодерацію для повідомлень, впізнаних роботом і у випадку, якщо корисне повідомлення впізнано як спам - вчіть робота відповідним алгоритмом - "не спам", а повідомлення, що несе в собі характер спаму - просто видаляйте, або якщо воно несе в собі корисну інформацію - видаляйте ту його частину, що є безпосередньо спамом

Referer spam та спам в pingback-ах

Даний вид спаму розрахований на цільову аудиторію - власників вебсервісів, що мають доступ до статистики... В цьому випадку спамер відсилає в заголовках свого інтернет браузера поле Referer в якому вказує рекламне посилання з надією, що Ви, як користувач, що переглядає статистику, перейдете по посиланню.

Боротись з даним методом можна аналогічно - робити перенаправлення на вебсайт рекламодавця 8))). Хоча в більшості випадків такий спам генерується роботом і швидше за все на Ваше перенаправлення не буде жодної реакції.

Спам в trackback-ах

Даний вид спаму розповсюджений в основному в англомовному сегменті, через необізнаність користувачів - що таке трекбеки. Що воно є - можете прочитати на сторінках даного веблогу, а я продовжу розповідь про спам.
Спамери сканують роботами підряд всі вебсторінки на наявність rdf тегів і колекціонують їх у відповідні бази даних. Після цього відкритим методом посилають trackback ping POST пакет з надією, що модератор не побачить спам повідомлення і розмістить посилання на своєму ресурсі.
Боротьба - виключна премодерація + алгоритм Bayesian підключаєм в випадку з'явлення великої кількості корисних trackback-ів, але разом із режимом nofollow або redirect до моменту approve (дозволу на повноцінне публікування)

Блогспам - blogspam

Даний метод спаму націлений на пошуковиків та власників блогів та вебсервісів з присутніми коментарями. Ну пошуковики хай розбираються самі, а блогери практично в 100% потрапляють в пастки. Спамер досить часто - майже нормальна людина, що намагається замилити очі іншим, створивши, як правило, паразитуючий блог(агрегатор постів популярних блогів), або блог-клоакінг, який відображається Вам, як аналізуючому посилання(із відповідним referer) із відповідною тематикою та рекламою, дуже схожою до Вашої, але пошуковим сервісам він представляється як набір sape -подібних адрес, для рекламування та заробітку.

Як боротись?

В обов'язковому порядку перевіряйте посилання в новому вікні браузера, вводячи адресу вручну, або копіюючи її з іншої сторінки. Таким чином на маленький відсоток зменшиться ймовірність підміни сайту в залежності від referer. Можна спробувати також замінити User-Agent заголовки на один з відомих роботів ( Google, Yahoo, ia_archiver тощо ), тоді ймовірність покращиться.
Використовуючи spam-notspam фільтри натискаєте на правильних повідомленнях notspam

Як не боротись!

Не вмикайте автоматичне видалення повідомлень, якщо воно впізнане як спам - ризикуєте потрапити в повну тишу, через старання зловмисників, які навчать Ваш фільтр видаляти все. Прикладом є блог http://ribel.org.ua, в базу фільтра BadBehavior якого потрапила моя робоча IP адреса (через вірус на одній з машин корпоративної підмережі, що розсилав спам) і всі повідомлення банально не отримуються власником. Завжди давайте шанс повідомленням бути переглянутим перед ручним видаленням, бо існує ймовірність помилкового спрацьовування.
Не розповсюджуйте глобально Вашу антиспам базу даних, як це роблять Akismet, httpbl, BadBehavior - Ви можете згарячу рубанути одне неспам повідомлення, а в результаті тисячу користувачів одного з інтернет провайдерів не будуть мати доступ до Вашого сайту і до великої кількості вебсайтів, які повірили глобальній базі даних, що не була перевірена англомовними адміністраторами.
Не пишіть відкрито списки спам сайтів, які зустрічаються на Вашому сайті - зловмисники можуть відповісти Вам, написавши тисячі повідомлень від імені Вашого вебсайту на інших блогах і в результаті Ваш сайт потрапить в спамерську базу.

Як спамити?

Коментуючи текст статті - пишіть нормальні коментарі, Нічого ж не вартує реально відповісти по темі так, щоб ніхто не запідозрив, що Ви - спамер. В результаті всі будуть довольні.
Не намагайтесь Вписувати в поле імені користувача текст для розкрутки - в 99% його сприймуть як спам. Пишіть реальні або віртуальні дані - Скажімо Василь Іванович. Тоді Вас можуть не запідозрити, а пошуковики сприймуть Ваше посилання нормально.
Не вкладайте в саме повідомлення посилання більше чим 1 - Запідозрять однозначно! Навіть одне - сприймається людиною дуже негативно.

Гм... Після прочитання Сам почав розуміти, що результатом виконання цих трьох правил буде Нормальне і живе повідомлення, що по суті своїй не буде спамом.

Spam в рейтингах

Маловивчений вид, але ним користуються багато людей... Скажімо

Партнерські обміни лінками, в яких список формується в залежності від переходів від сайтів партнерів..

В цьому випадку спамери намагаються наклікати переходи до достатнього рівня, щоб відображатись в списку.

TOP коментаторів.

Якщо у Вас на блозі присутній такий блок, то після попадання в нього спамер "заспокоюється" і перестає коментувати.

ТОР вебсайтів.

Каталоги, рейтинги, голосування без реєстрацій - всі ці технології компрометували себе через можливість накручування різноманітними методами та скриптами, а також помилками і дірами в програмному забезпеченні, що підраховує голоси.

Як боротись?

Якщо аналізувати статистику переходів - то вони зроблені на протязі короткого часу і після досягнення результату закінчуються на весь наступний період до оновлення лічильників.
Взагалі будь-яка боротьба - полягає на human-базованому вивченні технології накруток, спаму, антиспаму, антиантиспаму тощо.
В Українському сегменті боротьба із глобальним спамом закінчується на банальній логічній україномовній Captcha, в зв'язку із малорозвинутістю спеціальних спам-мереж та сервісів, в яких взломом алгоритмів займаються люди, отримуючи малесенький цент за розшифровування Captcha картинок.
Але не пройде і 1-2 роки, як і ми будемо заражені від нашого Молодшого Брата - Росії, які хоч і прикидуються, що не розуміють Української, але все ж вміють гарно спамити.

Коротко Epilog

Якщо хочете, щоб відкидались спамери, що полюють за посиланнями - зробіть посилання з Вашого вебсайту в частинах, до яких мають доступ користувачі без Вашого відома - неефективними (redirect), тоді Ви будете мати справу лише з цільовою аудиторію.
Крім того ведіть білий список, заохочуйте тих коментаторів, що коментують не тільки заради Власної вигоди та розкрутки власного сервісу - ставте на їхніх посиланнях rel="follow index".
Успіху Вам і сподіваюсь отримати українські неспам трекбеки

Додатково можна почитати про спам
www.viruslist.com/ru/spam/info

TrackBack - прихована технологія спілкування між сайтами...

2008-02-11T13:38:50+02:00

Створено все це на етапі розвитку інтернету, коли кількість інформації почала зашкалювати рівень можливості відслідковування схожих матеріалів автором. В більшості випадків, написавши деяку статтю, можна бути певним, що в інтернеті схожий матеріал вже викладався.

От і виникла ідея, а чому б не реалізувати можливість, коли після написання певного матеріалу, користуючись спеціально описаною технологією, можна повідомити інших про те, що існує схожий матеріал як продовження того, що вже було.

Джерела інформації, з яких варто розпочати прочитання даної статті

www.sixapart.com/pronet/docs/trackback_spec офіційна специфікація TrackBack

www.lifewiki.net/trackback/ - по цій адресі можна приєднатись до роробників протоколу, почитати про специфікації та підписатись на конференцію

www.hixie.ch/specs/pingback/pingback офіційна специфікація PingBack

Також значна кількість інформації присутня на Вікіпедії, але враховуючи "громадський" характер, я не вважаю її стандартом.

Потрібно згадати також про RefBack - ми щодня ним користуємось, бровзаючи інтернет та переходячи із сторінки на сторінку.

На днях перегрібав лог премодерації трекбеків і вирішив знизити кількість спаму від них... Можна звичайно вирішити проблему кардинально і вимкнути дану функціональність, але НМД - варто зрозуміти, чому дана технологія така популярна серед спамерів і не в нас.

Не буду казати, щоб Ви ставали спамерами - цього у Вас не вийде з вебсайтами, де увімкнена премодерація або стоять антиспам фільтри на трекбеки.

Буду казати, що вивчаючи технології спаму, можна дуже багато навчитись для власної користі і досвіду роботи.

Скажу, що переглядаючи щодня сотні листів спаму електронної пошти я почав розуміти, яким чином вони(спамери) обходять фільтри антиспаму, в результаті, на листах, що обходять фільтри я не натискаю кнопку - "Спам", бо таким чином погіршується вибірковість цих фільтрів і вони починають "мітити" корисні листи. Але про це - пізніше.

Сьогодні я намагатимусь описати процес взаємодії між вебсайтами на рівні протоколу XMLRPC, на якому основана технологія trackback.

От і виникла ідея, а чому б не реалізувати можливість, коли після написання певного матеріалу, користуючись спеціально описаною технологією, можна повідомити інших про те, що існує схожий матеріал як продовження того, що вже було.

Але в даної технології також є проблеми.

Не всі "старі" вебсайти підтримують "нову" технологію
Небажання співпрацювати в авторів
Відсутність нормальної підтримки від пошуковиків.
Спамери і сайти-паразити.

Перш, ніж розібратись в кожній з цих проблем - пройдусь по самій технології та офіційних стандартах.

Враховуючи те, що НМД - trackback на сьогодні найбільш розвинута та контрольована технологія формату "ping website", на неї і буду опиратись.

Отже - метод.

Власник сайту А посилає сайту В HTTP POST запит, в якому описує згідно стандарту головні поля і заголовки інформації про "взаємовідносини" між сайтами.

POST http://www.example.com/trackback/5
    Content-Type: application/x-www-form-urlencoded; charset=utf-8
    
    title=Стаття+про+трекбеки&url=http://www.example2.com/article/4&excerpt=Коротко+про+технологію+трекбеків
    &blog_name=TrackBacks+блог

Тема - title - назва статті
Посилання - url - адреса, за якою знаходиться стаття
Аннотація - exerpt - необов'язковий параметр
Ім'я вебсайту - blog_name - без коментарів 8).

Загалом, кому цікаво - думаю зрозуміли.

Згідно даної технології - рішення про подальшу обробку такого посилання покладається на власника вебсайту, що його прийняв.

Згідно стандарту - власник, що приймає дані POST запити і погоджується на співпрацю повинен в себе на вебсайті викласти спеціальну xml:rdf мітку

             xmlns:dc="http://purl.org/dc/elements/1.1/"
             xmlns:trackback="http://madskills.com/public/xml/rss/module/trackback/">
            rdf:about="http://www.example.com/5"
        dc:identifier="http://www.example.com/5"
        dc:lang="uk-UA"
        dc:title="Стаття про трекбеки"
        trackback:ping="http://www.example.com/trackback/5" />

Враховуючи, що на сьогоднішній день HTML не дозdоляє в себе вбудовувати rdf - цей блок необхідно вставляти коментарем HTML

Що робити з самим посиланням, отриманим по POST - власник одержувача вирішує сам. В моєму випадку отримані посилання, якщо вони не є спамом, відображаються після самої статті перед коментарями, що дозволяє користувачам та роботам прочитати схожі статті та співставити моїй статті схожу(related) десь в іншому місці.

Володіючи достатнім рівнем кваліфікації дану технологію можна розвивати заcобами xml, доповнювати описами, вкладати в rdf додаткові параметри, що будуть повідомляти роботам та клієнтам розширену інформацію по взаємодії - все у наших силах 8)).

Закінчуючи дану технічну сторону додам - не всі клієнти та сервери корекнто працюють з даною технологією. Обробку стандарту пишуть люди... А люди, як відомо, роблять помилки. Тому враховуйте це.

Повертаючись до проблем даної технології скажу - пошукові системи не підтримують дану технології на рівні, який вкладали в неї розробники.

Чому? НМД - на сьогоднішній день в них і так не вистачає ресурсів та методів, щоб обробити існуючу систему інтернету, тому вони не особливо піклуються про технологію, що не набрала ще такої широкої популярності, як скажімо банальне посилання на іншу сторінку. Але, враховуючи, що пошукові системи займаються складним алгоритмом знаходження схожих статей - використання даної технології дозволить авторам різноманітних вебсайтів допомогти їм(роботам) в цьому.

Користувацька сторона технології трекбеків - Вам ,як власнику вебсайта приходить надіслане кимось посилання, що містить в собі інформацію про схожий контент. Це схоже на коментар до Вашої статті, але в даному випадку - коментар може бути на іншому сайті, іншою мовою, більш розвинутий із можливо іншою точкою зору та більшою кількістю фактів тощо.

В результаті - Вам не залишається нічого, окрім пов'язати Вашу статтю із статтею послідовником (rel="next"), що написана на основі Вашої, бо по суті своїй автор тої статті знайшов Вас і не полінувався повідомити, що тема розвивається далі, і можливо читачам Вашого матеріалу буде цікаво почитати про тему додатково.

Ви ж вказуєте адреси на коментарі до Вашої статті на Вашому вебсайті, От і вказуйте на продовження - це додасть Вам рейтингу від пошукових систем.

Як бути із вебсайтами, що не підтримують технологію трекбеків - тут все просто - в кінці, або на початку Вашої сторінки не полінуйтесь вказати пов'язані матеріали звичайними посиланнями. Підозрюю, що всі читали за своє життя книжки і досить часто спостерігали, що і на початку і в кінці автор міг вказувати список літератури, посилання на певні статті, книжки тощо. Це і є трекбеки, які в паперовому вигляді виглядають саме так.

Тепер прислухайтесь до себе, в моменти, коли ви займаєтесь пошуком деякої інформації. Заходим на пошукову систему, вводим деякі слова, які нас цікавлять, знаходимо по знайденій адресі, якщо інформація неповна, намагаємось на цій же вебсторінці знайти схожі статті, або посилання на першоджерело. Гадаю зрозуміло... Це ж саме розуміють і розробники пошукових систем і впроваджують в свої алгоритми технології пошуку схожих матеріалів. І в першу чергу вони шукають за посиланнями, що вказані саме авторами на сторінці.

А тепер спробуйте проаналізувати, чому так важко знайти схожі статті до Вашого вебсайту.

Скажімо Ви співпрацюєте з однією з бірж посилань, за які Вам платять якусь копійку. Переглядаючи велику кількість вебсайтів, я мало зустрічав авторів, що реально піклуються про схожість - вішають на свій сайт все, за що платять. Багато випадків, думаю і Ви зможете знайти, коли автор скажімо політичного-спрямованого блогу вішає рекламу нижньої білизни - я розумію, що певна моральна схожість є, але для рОбота це посилання буде означати не що інше, як спам. Сподіваюсь Ви зрозуміли, що посилаючись на когось Ви в першу чергу створюєте інформаційний імідж Вашого вебсайту. Може користувач і не побачить адреси на рекламу, але робот аналізує сторінку повністю!

Повертаючись до трекбеків підсумую, що дана технологія дозволяє пов'язати Вашу вебсторінку із вмістом, який допоможе рОботам співставити Вашу роботу із аналогічними або схожими статтями.

Враховуючи, що є люди, які заробляють на всьому, дана технологія також послаблена спамом. У випадку, якщо користувач не піклується про чистоту свого вебсайту і дозволяє отримання та публікацію трекбеків і посилань на своєму вебсайті, а пошуковики звертають увагу на посилання - спамери постійно намагаються всунути туди посилання на вебсайти, з яких вони отримують прибуток. Тому чистота отриманих трекбеків лягає повністю на плечі власників вебсторінок, що приймають їх.

Трекбек сильно пов'язаний з RefBack , якщо Ви підтримуєте технологію трекбеків. Тобто хтось Вам присилає трекбек повідомлення про схожий вміст і Ви публікуєте відповідне посилання на своїй вебсторінці.. В результаті користувачі, переглядаючи Ваш вебсайт переходять за цими посиланнями і передають своїми броузерами вебсайту, на який посилається трекбек інформацію, звідки прийшов користувач, в вигляді referrer в заголовках HTTP протоколу...

Таким чином автор вебсайту, аналізуючи статистику може бачити, що з Вашої сторінки приходять користувачі, може опублікувати в себе посилання на сторінку, у випадку, якщо Ваша стаття має схожий характер. Це і є RefBack.

Замість висновка скажу - якщо Вас цікавить співробітництво з іншими вебсайтами, та не останнім бажанням є підняття рейтингу свого власного вебсайту, а також, якщо цікавить, щоб а Ваш вебсайт заходили саме цільові користувачі - відсилайте трекбеки, дуже висока ймовірність, що у випадку дійсно схожості інформації автор, якому прийшов трекбек опублікує в себе посилання на Ваше творіння.

Успіху!