Досить давно використовую для аналізу веб сторінок інструменти, що їх пропонують відомі пошукові сервіси і маю бажання поділитись досвідом використання їх та висновками щодо користі, яку отримую від них.

Консолі для веб розробників

ТЗ

1. Вступ
   
   1. Гугл Вебмайстер
   2. Гугл Вебмайстер - головна панель
   3. Загальна статистика проблем на сайті
   4. індекс Гугла
   5. Розширений аналіз
   6. Що бачить рОбот
   7. Зовнішні посилання
   8. Карти сайту
   9. Швидкість індексування
   10. Видалення посилань в Гугл

   Live Search

   11. Live список вебсайтів
   12. Live консоль
   13. Live профіль сайту
   14. Live підбір ключових слів
   15. Live карта сайту
   16. Live зовнішні посилання

   Yahoo Site Explorer

   17. yahoo Site Explorer
   18. yahoo - список сайтів
   19. yahoo - головний вигляд
   20. yahoo - зовнішні посилання

   Yandex Webmaster

   21. Яндекс вебконсоль
   22. Статистика помилок вебсайту в Яндекс
   23. Зовнішні посилання в Яндекс
   24. Структура вебсайту очима Яндекса

   ---

2. Висновки

Розробники пошукових систем давно зрозуміли, що проблеми заспамленості пошуковиків - це не проблеми реалізації пошукових систем - це проблеми самих веб розробників, які не до тримуються стандартів. А тому Вони намагаються показати це, розробляючи свої консолі, в яких є відповідні інструменти для контролю та оптимізації.

Отже - Гугл Вебконсоль

Входимо в консоль і отримуємо доступ до списка вебсайтів, що зареєстровані в ній... Перший вхід - додаємо вебсайт і його карту сайта.

Після цього вимагається зробити перевірку, чи дійсно ви є власником цього вебсайту. Для цього існує два методи - або додаванням спеціального мета тегу, або завантаженням спеціального файлу із вказаною гуглем назвою.

Після цього Ваш вебсайт буде видно в консолі і буде доступна деяка статистика (можливо після певного часу).

Як видно на цьому прикладі - можна бачити помилки, статистику, статус перевірки, кількість доданих карт сайту.

Клікнувши на назву вебсайту переходимо в закладку, яка видасть розширений звіт по статистиці та помилкам конкретно до цього вебсайту. Тут присутні:

• останній доступ до вебсторінок роботом
• статус проіндексованих сторінок
• кількість помилок HTTP протоколу
• незнайдені сторінки 404
• nofollow посилання
• адреси, заборонені файлом robots.txt
• сторінки, що не можуть обробитись по таймауту
• недоступні адреси 403

Досить розширений аналіз можна провести по цій закладці, - діагностику доступності вебсайту, так би мовити.

Також дуже корисною є закладка Index, де можна оцінити:

• проіндексовані сторінки Вашого вебсайту
• сторінки, що посилаються на ваш вебсайт
• копію вашої головної сторінки з кешу пошуковика
• подивитись інформацію про вебсайт
• переглянути схожі до Вашого сторінки та вебсайти

Чесно кажучи, всі ці адреси доступні і поза межами вебконсолі ґуґла, одне, що зручно - так це швидкий доступ до них.

Аналіз контенту з'явився досить недавно в консолі, і я поки-що не бачу високої активності в його наповнюванні роботом. Але замашка на проведення аналізу наявності параметрів посилань desc (коротка аннотація про об'єкт) , longdesc (посилання на довгу та розширену статтю, що повністю описую даний об'єкт або інформацію) , обіцяє досить сильно покращити обробку в майбутньому вебсторінок пошуковим роботом ґуґла, та покращити зручність використання коректно описаних вебсторінок.

Хочу додати, що на протязі вже майже одного місяця, робот не спішить наповнювати даний підрозділ консолі, хоча на сторінках я використовую це дуже широко. Явна бета.

Далі досить цікавим варіантом реалізації аналізу зовнішніх посилань є статистика - "що бачить ґуґлбот" 8).

В даному розділі є доступ до title + desc + url-name - параметрів посилань на інших вебсторінках до Вашого сайту. Свого роду інтерпретація "що про мене говорять і як мене називають" в зовнішніх посиланнях.

НМД - це чисто якийсь прікол, бо реально я не бачу серйозної необхідності використання даної можливості 8).

Наступна закладка - достатньо корисна... На ній можна побачити статистику використання зовнішніх посилань на ваших сторінках і сторінки, на яких є зовнішні посилання.

Ще одна закладка - дуже корисна для великих проектів, де створено багато карт сайту, за якими ґуґлбот аналізує Ваші сторінки.

Тут можна побачити статистику проіндексованих сторінок по відношенню до всіх наявних посилань як в загальному, так і по кожній із карт сайту.

Дуже цікавим є спостереження за частотою оновлення кожної з карт сайту, по цьому можна аналізувати "зацікавленість" робота до того чи іншого матеріалу на сайті.

Наступна закладка - візуалізація процесу індексування вебсайту та встановлення швидкості індексування.

Дуже корисна інформація, на основі якої можна реально аналізувати:

• доступність вмісту на сайті,
• навантаження на хостера,
• ефект оптимізації кешуванням
• ефект оптимізації вмиканням архівації вмісту тощо

ґуґлбот досить частий гість на сайтах, тому статистика доступності по ґуґлботу може бути причиною рішення переходу на інший, більш потужний хостінг, а також є індикатором необхідності оптимізації та вирішення проблем із доступом.

І остання важлива НМД функціональність - видалення адрес із використанням масок.

В мене був випадок, коли потрібно було видалити весь індекс із одної з папок на сайті, в чому дана функція досить сильно допомогла. Швидкість роботи її - плаваюча... Основну кількість сторінок він видалає на протязі кількох днів, але все-ж деякі залишаються в кеші кілька тижнів! Особливо це стосується популярного вмісту.

Сама функція дуже проста - вказуєм шлях та маску видалення і чекаємо ефекту.

Всі інші закладки в консолі гугла - НМД просто зайві і лише показують який він "крутий" та багатофункціональний. Хоча кожному своє, якщо у Вас є позитивний досвід використання всього іншого - буду радий почути Ваш досвід.

Інша консоль - Microsoft Live Search.

Продукт достатньо новий - в нього статус бета. Багато функцій ще незрозумілі. Ну мені по крайній мірі. Тобто не те що б незрозумілі, я просто не зовсім впевнений в їх потрібності.

Отже, після входу, аналогічно до гугля - реєструємо вебсайт. Проходимо активацію (файл або мета тег) і одразу стає доступним вся інформація, яку надає консоль.

В закладці профілю додаєм карту сайта та емейл вебмайстра. Наразі є підтримка лише одної карти сайта, хоча є метод повідомляти рОботу про оновлення карти сайта, яку можна підставляти за власним бажанням.

Наступна закладка - це якраз той випадок, який я не зовсім розумію - аналіз тієї чи іншої сторінки на предмет релевантності до пошукових запитів. Краще б вони видавали статистику цих слів, чим заставляли власника займатись брутфорсом. Також тут можна переглянути якою мовою впізнається вміст на Ваших сторінках і в разі невідповідності - можна діяти. Також є певний статистичний рейтинг сторінок, технологію якого я поки-що не вивчав. 

В наступній закладці - додавання карти сайту + метод сигналізування про оновлення або додавання карти сайту. Перевіряв - наразі робот каже, що карта сайту додана, але жодних повідомлень про це в консолі немає 8(.

Найважливіше в цій консолі - перегляд посилань з зовнішніх вебсторінок. Тут і ранг сторінок, і мова, і країна. Досить корисна інформація. Головне, що стиль подання її насправді зручний.

Ще одна консоль - моя улюблена. Це не вершина досконалості, але НМД - це максимум зручності та необхідності. На сьогоднішній день цей робот індексує найбільшу кількість сторінок, по крайній мірі з усіх моїх сайтів. І робить це дуже швидко.

Далі - Yahoo! Site Explorer.

Після входу - аналогічна ситуація - всі зареєстровані вебсайти в списку. Поле додавання - вгорі. Кнопка управління ( Manage ) - метод керування одним екраном - нічого особливого. Explore кнопка - перегляд всіх проіндексованих сторінок.

Список фідів - карти сайту та рсс потоки.

Статус - зареєстрований чи ні (перевірка власності).

Акції - список функцій видалення з індексу.

Після входу по кнопці Explore - список проіндексованих сторінок та розширені параметри індексування (мова, останній доступ, розмір)

І дуже корисна функція - помітити спамом - іноді, при перегляді сторінок, що мають посилання на Вас, але не існують - одна кнопка і видаляєм.

Закладка перегляду зовнішніх посилань. Аналогічна ситуація з помітками спаму, та можливістю розширеного аналізу конкретного посилання.

І ще одна консоль - російська. Вона найближча до нас, але НМД - найслабша. Хоча перспективи в неї є.

Yandex - Webmaster.

Із позитивного - зручна система відображеня структури вебсайту "очима робота".

Зовнішні сторінки - це характеристика, яку надають всі вебконсолі - тут також є. нічого особливого, окрім того, що пошуковик працює з кирилицею в основному.

А тут показана славнозвісна структура сайту "очима робота", процентне відношення "покаталогах", кількість проіндексованих сторінок в залежності від каталога.

Невеликі висновки.

На мою Особисту думку - всі вебконсолі - це спосіб привернути увагу веб розробників для того, щоб максимально упростити завдання власного пошукового робота та заставити користувачів створювати вебсайти, які буде простіше індексувати.

Щоправда варто відмітити, що в більшості випадків вимоги, які серед строк проскакують в різних варіантах допомоги веб розробникам, відповідають стандартам, описаним на вебсайті W3C.org. Окрім одного але - кожна інтерпретація від окремого пошукового сервісу охоплює лише 20-30 відсотків, які реалізовані в функціональності рОбота.

Таким чином можна досягнути досить високого степені якості виконання вебсайту, якщо дотримуватись вимог, що пропонують головні пошукові сервіси планети, деякі з них я спробував описати, користуючись власним досвідом.

І головне - ідеальна консоль все ще ненаписана! Для задовільнення своїх потреб варто використовувати їх усі, щоб "подивитись" на свої творіння з різних боків. Я так і роблю...

Успіху Вам!

Далі буде...