Sitemap | Заметки SEO-новичка о заработке в интернете и не только...

Новогодний пост

Итак, до нового года у меня осталось 3 часа. Жду не дождусь встретить :) Немного итогов…

Чего я ждал уже пару месяцев так это апдейты ТИЦ и PR. Ссылки на блог не покупал и особенно не продвигал, однако, яндекс дал 10. Это чисто с комментариев. По гуглу много беков на блог, но он обидел меня сегодня не дав хотя бы 1 PR, а я рассчитывал на большее. Обидно даже не то что не дал блогу прироста PR, а то что 2 моих варез-Гса и 1 полу-СДЛ вообще без беклинков получили по PR 1.

Отчет более подробный про беки и прост пузомерок скорее всего напишу на днях.

Сейчас начнем провожать старый год ;) и хотелось бы поздравить ВСЕХ блоггеров с Новым годом! Пожелать Всего-Всего-Всего. Все уже написали новогодние посты и пожелали себе и другим что хотели. Я в новом году постараюсь заняться блоггерством упорнее, побольше писать постов и …

А теперь поздравлю всех и PromoHeads с Новым годом. Стишок прилагается. Читать полностью »



Проблема с sitemap.xml

19 Ноя 2022 | Отзывов (2) »

В статье о robots.txt для Wordpress и DLE упоминал о том, что начал заниматься файлом robots не просто так, а потому что были проблемы с sitemap.xml на двух warez-порталах. Оба эти warez-портала используют CMS DataLife Engine версии 8.2. По-умолчанию в них встроен модуль Карта сайта для Google и Yandex, который предназначен для создания карт сайта для поисковых систем Google и Yandex.


С этим модулем и случилась проблема. Этот модуль формировал sitemap.xml, я добавлял его в админ-панелях Яндекса и Гугла. Сайты вроде бы нормально лезли в индекс, но как мне казалось что-то было не так. Позднее заметил ошибки в панелях вебмастеров у файлов sitemap.xml. Гугл писал про ошибку чтения sitemap и указывал что проиндексировал только 1 страницу (главную).
Яндекс нормально индексировал и к тому моменту в индексе было уже более 100 страниц, но в панели вебмастера у яши тоже были ошибки в sitemap. Начал разбираться что не так.

Оказалась все довольно просто, скрипт-граббер новостей с DLE сайтов хорошо работал, но в нем была ошибка. Он в базу mysql портала добавлял название, которое использовалось на сайте откуда он брал новости. Названия были длинными и имени пробелы. Это же название скрипт помещал в поле отвечающее за ЧПУ. В итоге получалось, что все URL были длинными и имени пробелы. Браузеры нормально открывают такие страницы. Вопрос в том, что хорошо ли индексируют такие страницы боты поисковиков. (Подробнее…)

robots.txt для DLE и Wordpress

21 Окт 2022 | Отзывов (4) »

Появилась у меня на одном ГС проблема с sitemap.xml. Генерировал вроде бы нормальный sitemap, но Google выдавал ошибку, типа карта неправильная и все. Открываю карту сайта в браузере все нормально, захотелось разобраться с sitemap.xml и разбирательство затронуло robots.txt.

Уже давно я хотел вплотную заняться этими двумя файлами, но времени все не было, а тут как то само вышло. Итак, эта статья в общем о robots.txt и готовыми рабочими примерами этого файла для двух CMS, которые я использую. Следующая статья будет подробно написана о sitemap.xml.

robots.txt — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). При наличии нескольких субдоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому.

Для создания robots.txt нужен просто текстовый файл. Если Вы на своем сайте не собираетесь ничего закрывать для индексации, то рекомендуется сделать пустой robots.txt. Здесь я уже ошибся, так как мой старый robots содержал строки, которые якобы разрешают индексацию сайта поисковыми ботами Yandex и Google. (Подробнее…)