logo

Первый шаг после создания блога или составляем robots.txt

logo
Первый шаг после создания блога или составляем robots.txt

Так, начинаем приводить сео блог в порядок) С чего начать в первую очередь? На мой взгляд, правильней всего начать с составления файла robots.txt и прописывания хоста (host). Зачем это надо? Затем, чтобы ваш будущий seo контент не дублировался. Запомните! Дублирование контента — враг оптимизатора. Всегда нужно стараться предотвратить дубли и закрыть от индексации поисковыми роботами дублирующие разделы сайта. Особенно этим страдают такие CMS как WordPress.

В Интернете много вариантов robots.txt. Ниже приведен вариант, который использую я:
User-agent: *
Disallow: /redirect/
Disallow: /author/
Disallow: /wp-admin/
Disallow: /wp-includes
Disallow: /category/
Disallow: /category/*/*
Disallow: /page/
Disallow: /?feed=
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */comments
Disallow: */comment-page*
Disallow: /*trackback
Disallow: /*feed
Disallow: /author*
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: */feed
Disallow: /feed
Disallow: */trackback
Disallow: /tag/*/page

Host: seojenk.com

Если у кого-то появятся замечания/предложения, буду рад выслушать)

Если вам кажется, что прописывать robots.txt сложное занятие, тогда прочитайте, что такое технология установки пластиковых окон и вы поймете, что установить пластиковые окна посложнее, чем разобраться за полчаса в командах поискового робота.

Теги:

Оставить комментарий

*

logo
logo