Андрій Іванов
Підготовка сайту для індексування в пошукових системах
Індексують пошукові системи - сьогодні основні постачальники нових відвідувачів на сайт. У той же час алгоритми роботи пошукачів ніколи не публікуються, на що у розробників є всі підстави - боротьба з засмічення пошуковиків (пошуковим спамом або спамдексингом) забирає багато сил і засобів у колективу будь-якого пошукового проекту.
Питання про те, як потрапити на першу сторінку результатів пошуку по профільних, тобто точно належать до тематики сайту, запитам, хвилює багатьох. Явний дефіцит популярної інформації на цю тему породила велику кількість домислів - про "чудодійних" методах, про "корумпованості" і "протекціонізм" адміністрацій пошукових систем, "продають" та роздають вигідні місця своїм людям.
Досвід аналізу сайтів, власники яких мають проблеми з відвідуваністю з пошукових систем, показує, що причини, як правило, набагато простіше. Вони полягають в елементарній непоінформованості розробників і власників сайту про найпростіші правила, які необхідно враховувати, щоб сайт був добре представлений у пошукових системах.
Пошукові запити і релевантність
Зрозуміло, для того, щоб на сайт з пошукової машини прийшли відвідувачі, йому недостатньо бути просто присутніми в результатах пошуку. Необхідно потрапити на початок списку результатів пошуку.
Критерії, від яких залежить положення посилання на сайт на сторінках результатів пошуку, можна розділити на дві групи - текстові та нетекстові. З назв ясно, що текстові критерії - це характеристики текстового вмісту сторінки. Нетекстові крітерія'і оцінюють зв'язку сторінки, а її текст при цьому ролі не грає.
Облік текстових критеріїв здійснюється на етапі створення сайту і тексту. Робота з нетекстові параметрами можлива вже після того, як сайт викладений в Мережу і поданий на індексацію.
У роботі з індексуються пошуковими системами завжди слід пам'ятати, що командою на пошук в пошуковику є пошуковий запит, введений користувачем - слово, кілька слів, словосполучення, фраза.
Тут виникає досить істотний смисловий (семантичний) розрив. За те, що відбувається в голові користувача, пошукач не відповідає, а для користувача не існують поняття "правильного" і "неправильного" запитів.
Тому завжди перед тим, як планувати сайт, варто ознайомитися з тим, як часто і в якій формі користувачі насправді подають запит на інформацію, передбачувану до розміщення в Інтернеті.
У Рунеті єдиним джерелом достовірних даних про пошукових запитах є сервісна служба системи рекламних оголошень "Яндекс-Директ".
Текстові критерії релевантності
Сьогодні можна повністю забути таке застаріле поняття, як "ключові слова". Спочатку ключовими називалися слова, внесені в особливе поле сторінки, позначений тегом. Але сьогодні пошукові системи ігнорують зміст цього поля. Щоб уникнути різночитань, ми взагалі відмовимося від використання цього терміну.
Результати пошуку визначаються насамперед пошуковим запитом, тому, коли мова далі піде про ключові слова і "відповідно-невідповідність" тексту сторінки запиту або окремим словам, завжди будуть матися на увазі слова, з яких складається пошуковий запит.
1. Титульна фраза
Титульна фраза (титул) - це текст, який міститься на сторінці в дескрипторі title, в коді сторінки він оформляється як Титульна фраза. Слова титульної фрази мають дуже велике значення при впорядкування (ранжуванні) результатів пошуку в пошуковій системі. А саме, якщо формулювання запиту збігається з титульною фразою, або титульна фраза містить кілька слів запиту, то сторінка з таким титулом за інших рівних умов буде вищою.
Варто відзначити суперечливий статус титульної фрази, що став причиною найбільш грубих помилок багатьох вебмастерів.
Титульна фраза не відображається на сторінці сайту в браузері. Точніше, відображається, але на рамці вікна браузера, тобто в місці, куди зазвичай ніхто не дивиться. Саме тому настільки поширена помилка, коли вебмайстер ставить для всіх сторінок сайту однаковий титул. Зазвичай це буває сама назва сайту, що вельми коректно виглядає, коли сайт, наприклад, показується замовнику.
Але коли сайт подається на індексацію в пошукові системи, картина змінюється, так як в результатах пошукових систем зміст тега відображається в найцікавішому місці - як заголовок знайденої сторінки! Саме титульна фраза сторінки є найбільш яскравим елементом списку результатів пошуку за пошуковим запитом. Тут вона грає свою головну роль - заголовка, "особи" сторінки. І вибір користувача більш ніж наполовину визначається точністю, зрозумілістю і привабливістю титулу.
Таким чином, можна вивести перші правила підготовки сайту до індексації пошуковими машинами:
1. Всі сторінки сайту повинні мати різні титули.
2. Титульна фраза кожної сторінки повинна бути точною і ясною.
3. Зміст сторінки повинно відповідати титулу.
4. У титульної фразою сторінки повинні бути слова, що часто зустрічаються в пошукових запитах користувачів, відповіддю на які може бути дана сторінка.
5. Не варто використовувати титульні фрази довжиною понад 80 символів.
2. Опис сторінки
Опис сторінки - це зміст поля, позначеного міткою meta description, оформляється як. Слова опису зазвичай не впливають на ранжирування результатів пошуку, і серед російських пошукових систем, даний тег використовується на практиці лише "Яндексом". Проте "Яндекс" зараз - провідна система, і грамотно складати опис навіть у розрахунку тільки на "Яндекс" цілком доцільно.
Текст опису показується в результатах пошуку "Яндекса" під текстом титульної фрази. Таким чином, правильно оформивши титул і опис, можна досягти максимальної привабливості посилання на вашу сторінку в "Яндексі". Це спрацьовує, коли користувач, отримавши відповідь, вибирає з декількох альтернатив.
На жаль, більшість вебмайстрів нехтують такою можливістю поліпшити зовнішній вигляд (зрозумілість) своїх посилань у пошуковику, ставлячи в опис всіх сторінок сайту одну й ту ж фразу, або взагалі ігноруючи це поле.
Але в ідеалі потрібно ... Сформулюємо чергові правила:
6. Описи всіх сторінок сайту в теге повинні бути різними.
7. Опис кожної сторінки повинно відповідати її змісту.
3. Інші текстові критерії
Пошукові машини використовують також такі текстові критерії релевантності знайдених сторінок запиту:
позиція знайдених слів у титульній фразою;
"Вага" знайденого слова та близькість його до початку документа;
наявність знайдених слів у заголовках (, і т. д.) і фрагментах, виділених жирним шрифтом (,);
близькість знайдених слів один до одного (компактність цитати).
Пояснимо, що мається на увазі під "знайдені слова". Індексують пошукові системи засновані на ідеї пошуку "цитати". Мається на увазі, що користувач хоче побачити документ, в якому є слова, введені їм у вигляді запиту. Пошуковик знаходить у своєму індексі такі документи і видає їх адреси. У перерахованих вище критеріях "знайдене слово" - це слово, наявне як на веб-сторінці, так і в пошуковому запиті, за яким має бути показане посилання на дану веб-сторінку.
Із зростанням кількості документів у Мережі все гостріше ставала проблема ранжирування посилань, що видаються пошуковими у відповідь на запити користувачів. Їх стало дуже багато. Тому розробники стали один за іншим вводити критерії, що дозволяють як би "уточнити" релевантність сторінки - ступінь відповідності документа запиту.
Якщо в документі мова йде про якийсь предмет, по ідеї, цей предмет повинен часто згадуватися (називатися), тобто частота слова - назви предмета буде підвищеною. Цей параметр називається "вагою" слова.
Автори текстів знають, що головну ідею матеріалу найкраще виносити на початку тексту, тому деякі пошукові системи положення знайденого слова по відношенню до початку документа стали також брати за критерій релевантності.
Положення слів відносно один одного, особливо в титулі, теж є критерієм. У разі пошукових запитів, що складаються більш ніж з одного слова, справедливо припущення (згадаємо основну ідею індексуючих пошуковиків), що користувач шукає цитату, тобто саме входження введеного словосполучення. Можливо, в запиті та пропущені деякі слова, але в будь-якому випадку порядок слів і близькість їх один до одного важливі. Наприклад, у запиті крокви теслярі легко впізнається назва повісті Селінджера "Вище крокви, будівничі!", А теслі крокви нагадують вже про Бродського ("підняти не звали теслярів крокви"). Подібна компактність цитати добре розпізнається пошуковими системами.
Чому в якості критерію релевантністю використовується наявність слів запиту в виділених фрагментах і заголовках документа, очевидно: саме таким чином творці текстів виділяють найбільш значущі слова, на які хочуть звернути увагу.
Як бачимо, всі текстові критерії ранжирування результатів у пошукових системах мають прості логічні пояснення. Розробники пошукових систем ранжирують сторінки, виходячи з припущення, що вебмайстра створювали і структурували їх у розрахунку на "живих" відвідувачів.
Розподіл частот пошукових запитів. Вебмастера і пошукові системи. Спамдексинг
Пошукові запити повторюються. Різні люди, в різних містах, у різний час і в різні пошуковики вводять одні й ті ж пошукові запити: робота, чат, секс, mp3, windows, лінукс і ін Частоту використання кожного запиту можна підрахувати. Деякі зустрічаються в середньому раз на тиждень, а є й такі, що щодня повторюються сотні разів. Чим довше запит, тим рідше він зустрічається. І навпаки, найбільш частотним запитом з групи, що відноситься до будь-якої теми, завжди є найбільш загальний запит - одне слово чи словосполучення, що визначає тему.
Пошукові системи сьогодні стали основним постачальником нових користувачів на будь-який інтернет-ресурс, і вебмастера це чудово знають. Знають і закономірності попиту. Вебмастер, що підтримує сайт з працевлаштування, наприклад, в Санкт-Петербурзі, безумовно обізнаний, що запит робота зустрічається набагато частіше, ніж робота в Пітері. Але нечіткий однослівних запит робота використовують не тільки пітерці, але й москвичі, новосибірці, казанці ... Тому вебмайстрам сайтів з працевлаштування кожного з цих міст хочеться потрапити на першу сторінку пошуку саме за "головного" однослівним запитом. Але міст багато, а на першій сторінці результатів може розміститися всього лише 15-20 посилань.
З метою поліпшити свою позицію в результатах пошуку вебмайстра застосовували і застосовують ряд технічних прийомів, призначених саме для обману, "накручування" пошукового робота. Явище це називається спамом пошукових систем або спамдексингом (від spam + indexing) і з'явилося практично одночасно з появою пошукачів.
Тому що останні раніше використовували тільки текстові критерії для ранжирування результатів, то типовим прийомом спамдексингом стала так звана "накачування" - штучне завищення частот (ваг) потрібних слів на сторінці.
Варіанти "накачування" використовувалися найрізноманітніші: від примітивного "прихованого", невидимого звичайному користувачеві тексту, до створення спеціальних текстів, де ваги слів ретельно розраховувалися відповідно до значень, знімаються зі сторінок, які займають перші позиції в посиланнях по необхідних запитам.
Накачуються самі сторінки, титульні фрази, теги noframes і keywords. Спеціально створюються сторінки з подібними "оптимізованими для пошукачів" текстами, потрапляючи на які, користувач автоматично перекидається на інший сайт. Або просто бачить велику напис "Вхід". Вони так і називаються - вхідні сторінки. Більше того, розроблена спеціальна техніка (клоакінг), коли пошуковому роботу показується одна сторінка, а користувачам - абсолютно інша.
Подібні дії є бичем пошуковиків, тому що сильно перевантажують індекси, спотворюють зовнішній вигляд сторінок з результатами пошуку і різко знижують релевантність системи, тобто її якість і її конкурентну перевагу в боротьбі за популярність з іншими пошуковими системами.
Історія пошуковиків є історія їх постійної боротьби зі спамом. Зовсім недавно в пошуках зброї проти текстової "накачування" пошукачі почали доповнювати текстові алгоритми ранжирування результатів пошуку нетекстові критеріями - а саме, посилальними.
Нетекстові критерії релевантності
Нетекстові критерії можна розділити на три основні типи. Ми даємо умовні назви, так як усталеної термінології поки немає:
посилальної-розрахункові,
посилальної-текстові,
каталожні.
Як ми вже говорили, у випадках нетекстової критерію на ранжування сторінки впливає не її зміст, а інші чинники.
Посилальне-розрахункові критерії. До посилальної-розрахунковим критеріїв належить алгоритм пошукової системи Google - так званий зважений індекс цитування PageRank (PR). Докладна стаття про нього Кріса Райдінгс (переклад і коментарі О. Садовського) є на сайті Олександра Садовського http://www.digits.ru/
Індекс цитування враховує, як багато посилань є в Мережі на ваш сайт, і наскільки авторитетні посилаються на вас сайти. Авторитетність "цитування" визначається також за кількістю посилань на "цитує". Для розрахунку індексу цитування Google і подібні йому системи регулярно "перетрушують" неймовірно величезні матриці зв'язків між сайтами Інтернету, перераховуючи вага посилань і авторитетність ресурсів (зауважимо, що Google використовує для цього "ферму" більш ніж з 10 000 серверів!). Подібний алгоритм використовується також "Яндексом".
Каталожні критерії. До каталожними критеріями можна віднести індекс цитування "Яндекса" (citation index, CY) і алгоритм видачі результатів пошуку "Рамблера". В обох випадках принцип один - нагорі результатів пошуку за запитом в індексах видається кілька посилань на сайти, зареєстровані в належать порталам тематичних каталогах. У випадку "Яндекса" показується до трьох посилань на сайти з каталогу "Яндекса", якщо в їх описі є слова запиту. Ранжування проводиться за спаданням індексу цитування "Яндекса". Каталожні посилання в результатах пошуку "Яндекса" чітко відрізняються від звичайних рахункових: вони не нумеруються, а відзначаються точками. Опис ресурсу в каталозі "Яндекса" перевіряється, а частенько і складається вручну укладачами каталогу (так званими модераторами). Індекс цитування, природно, розраховується автоматично.
У свою чергу, "Рамблер" "замішує" на першу сторінку результатів пошуку за запитом до п'яти посилань на сайти, зареєстровані в каталозі-рейтингу Rambler's Top100, якщо їх відвідуваність (по "хостам") вище деякого мінімального порогу. Критерієм для внесення даних посилань до списку результатів пошуку служить наявність слів запиту в описі сайту, зробленому для Rambler's Top100. На відміну від "Яндекса", де розмір опису обмежений двома сотнями символів, на індексацію в Rambler's Top100 може бути подано опис розміром до 4000 символів.
При внесенні до рейтингу опис сайту також може перевірятися співробітником "Рамблера" - модератором рейтингу.
Посилальне-текстові критерії. До посилальної-текстовим критеріями може бути віднесений алгоритм, не так давно з'явився в "Яндексі". У даному випадку "Яндекс" індексує текст посилання (тобто текст, виділений як гіперпосилання, на сторінці сайту). Іншими словами, індексується вміст тега, і якщо запит збігається з цим вмістом, в результатах пошуку видається адресу, вказану в теге.
"Яндекс", очевидно, запам'ятовує тільки зовнішні посилання з сайтів, тобто сторінка, на якій вказує посилання, не повинна належати сайту, де ця посилання розміщене.
При цьому при показі результатів пошуку подібна сторінка не має титулу, і "Яндекс" супроводжує посилання на неї явним зазначенням - "адреса знайдений за посиланням".
Попит та пропозиція - точки зближення в пошукових системах
Пошукові запити є реальним виразом попиту користувачів на інформацію в Інтернеті. Пропозиція інформації здійснюється на сторінках ресурсів Інтернету. Індексують пошукові системи сьогодні є безперечним лідером трафікогенераціі для більшості сайтів і є найбільш природним сполучною ланкою, що з'єднує попит і пропозиція.
Як ми вже показали, в основі всіх текстових критеріїв пошукових систем лежить уявлення, що користувач шукає цитату з якогось документу. Насправді ж це не так. Користувачі шукають не цитати з документів, а рішення своїх проблем - відповіді на свої запитання, які вони навіть не завжди можуть точно сформулювати. Обговорення цього питання виходить за рамки предмета даної статті, наведемо лише один з доказів.
Ось воно: мова попиту радикально відрізняється від мови пропозиції. Характеристиками мови пропозиції (текстів сайту) в масі є грамотність, літературна коректність, чіткість викладу думок. Цього зовсім не можна сказати про мову попиту (мовою запитів) - основна маса пошукових запитів відноситься до нечітких, тобто допускає більше одного варіанта розуміння; запити часто занадто лаконічні, сповнені друкарських помилок, змішують кирилицю і латиницю і т.п.
Пошуковикам немає звідки брати інформацію для своїх індексів, окрім як зі сторінок, підготовлених веб-майстрами. І вони беруть її в рафінованому, літературному вигляді.
З іншого боку, вебмайстрам ніколи не вдасться навчити користувачів формулювати пошукові запити "як треба", довгими гладкими фразами на хорошій російській мові.
Тому першим кроком навіть не підготовки сайту до індексації, а його розробки має бути вивчення того, як користувачі шукають в Мережі інформацію. Ту інформацію, яку власник сайту збирається пропонувати на своєму ресурсі.
Технічно цей аналіз здійснюється за допомогою отримання реальних формулювань запитів та інформації про їх частотах, виділення стійких напрямів попиту, базових формулювань і типових конструкцій пошукових запитів (докладніше про це розказано в статті "Аналіз попиту і підвищення видимості в пошукових машинах").
Далі розробники мають вирішити, як же поєднати вимоги, які пред'являються до друкованого тексту, з необхідністю включення в них слів і конструкцій, інформація про які була отримана шляхом аналізу пошукових запитів. Процес цей, на жаль, алгоритмізувати неможливо. Тут розробникам сайту доведеться вирішити не дуже складну, але важливу лінгвістичну завдання - спробувати описати свій бізнес не словами генерального директора, вебмастера або відділу маркетингу компанії, а словами публіки.
З чого почати
Напевно, цю статтю логічніше було б почати з кінця. Спочатку - вивчення попиту, потім створення текстів, потім - оформлення текстів з урахуванням текстових критеріїв ранжирування, потім оформлення описів сторінок для більшої привабливості посилань на них у пошукових системах, і лише потім - старт проекту та початок робіт з використання нетекстових критеріїв (розстановці посилань і пр.).
Дійсно, це - найбільш правильний шлях. Але на проходження їм не завжди вистачає часу, ресурсів і терпіння.
Однак ми ще раз повторимо, що основна маса помилок веб-майстрів, що знижують видимість сайту в пошукових системах, стосується не "корінних" завдань планування, і не необізнаності у тонкощах побудови "ієрархічних", "циклічних" і "великих" систем зв'язування сторінок для оптимізації PageRank . І справа не в нездатності писати хитрі "вхідні сторінки", щоб не бути "забаненим" модераторами або фільтрами пошукових машин.
Основна помилка банальна - це невміння працювати з титульними фразами і описами. Виправивши грубі помилки в титулах та описах, можна, по-перше, значно розширити коло пошукових запитів, по яких посилання на сторінки сайту будуть показані на кращих позиціях. І, по-друге, надати своїм посилання в пошукових системах гідний, привабливий зовнішній вигляд, викликає бажання клацнути по них.
Починати потрібно саме з цього.