Карта сайта и robots.txt для Phoca Download

Сегодня рассмотрим процесс создания карты сайта и файла robots.txt для Phoca Download с целью улучшения SEO и ускорения индексации страниц компонента.

Данный материал предназначен исключительно для активного значения параметра Просмотр страницы файлаДа компонента Phoca Download, включенного стандартного SEF Joomla и наличия пунктов в меню на активные категории Phoca Download. В противном случае, необходимости в карте сайта для компонента Phoca Download - нет.

Создание карты сайта

К сожалению, доступных расширений, генерирующих карту сайта для Phoca Download, в настоящее время нет. Однако, в качестве альтернативного способа создания XML-файла со списком страниц компонента мы можем воспользоваться одним из онлайн генераторов карты сайта - например, сервисом web-site-map.com.

Для создания новой карты сайта перейдите на страницу создания XML-файла, добавьте адрес вашего сайта и определите значения параметров, которые необходимы для генерации файла.

  • Page changing frequencyDaily (можно оставить по умолчанию),
  • Last modified dateDon’t specify,
  • Page priorityAuto assignment (можно оставить по умолчанию),
  • Session info removalAuto removal (можно оставить по умолчанию).

Что касается параметра Last modified date, то лучше использовать значение Don’t specify, т.к. последующие изменения в файле карты сайта (для добавления ссылки на страницу нового файла) проще выполнять вручную, а не генерировать файл заново. Таким образом, не будет необходимости для страницы нового файла добавлять дату и время модификации.

После генерации sitemap.xml, необходимо "очистить" файл от ссылок, которые не имеют отношения к компоненту Phoca Download. Обратите внимание, что, если вы используете на своем сайте компонент карты сайта (например, JL Sitemap или OSMap), то ссылки на те же страницы во второй карте сайта не нужны, в том числе ссылки вида СайтPhoca DownloadКатегория 1, поскольку они уже генерируется установленным компонентом карты сайта.

Оставьте лишь прямые ссылки на страницы файлов в sitemap.xml, затем разместите файл в корне вашего сайта и добавьте запись о наличии второй карты сайта в robots.txt. После создания новой страницы сайта с новым файлом, просто внесите изменения в sitemap.xml вручную или повторите процедуру генерации и "очистки" файла карты сайта.

Пример готового файла sitemap.xml - 3 категории, 12 ссылок на страницы файлов и никаких других страниц.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">
<url><loc>http://domain.net.ua/files/category_1/file/1-filename_01</loc><changefreq>daily</changefreq><priority>0.5</priority></url>
<url><loc>http://domain.net.ua/files/category_1/file/2-filename_02</loc><changefreq>daily</changefreq><priority>0.5</priority></url>
<url><loc>http://domain.net.ua/files/category_1/file/3-filename_03</loc><changefreq>daily</changefreq><priority>0.5</priority></url>
<url><loc>http://domain.net.ua/files/category_2/file/4-filename_04</loc><changefreq>daily</changefreq><priority>0.5</priority></url>
<url><loc>http://domain.net.ua/files/category_2/file/5-filename_05</loc><changefreq>daily</changefreq><priority>0.5</priority></url>
<url><loc>http://domain.net.ua/files/category_2/file/6-filename_06</loc><changefreq>daily</changefreq><priority>0.5</priority></url>
<url><loc>http://domain.net.ua/files/category_2/file/7-filename_07</loc><changefreq>daily</changefreq><priority>0.5</priority></url>
<url><loc>http://domain.net.ua/files/category_2/file/8-filename_08</loc><changefreq>daily</changefreq><priority>0.5</priority></url>
<url><loc>http://domain.net.ua/files/category_2/file/9-filename_09</loc><changefreq>daily</changefreq><priority>0.5</priority></url>
<url><loc>http://domain.net.ua/files/category_3/file/10-filename_10</loc><changefreq>daily</changefreq><priority>0.5</priority></url>
<url><loc>http://domain.net.ua/files/category_3/file/11-filename_11</loc><changefreq>daily</changefreq><priority>0.5</priority></url>
<url><loc>http://domain.net.ua/files/category_3/file/12-filename_12</loc><changefreq>daily</changefreq><priority>0.5</priority></url>
</urlset>

Создание robots.txt

Наличие правильно составленного файла robots.txt очень важно для поисковой оптимизации сайта. Учитывая, что для большинства русскоязычного населения (в том числе для Украины) приоритетной поисковой системой является Google, перед формированием файла robots.txt рекомендую ознакомиться со следующими материалами:

После ликбеза от Google, приступаем к формированию файла robots.txt, предварительно разбираясь с вариативностью возможных ссылок в компоненте Phoca Download.

Директива Disallow. Что необходимо запретить?

http://domain.net.ua/menu_item/category_1?download=1:filename_alias
Прямая ссылка на загрузку файла.
http://domain.net.ua/component/phocaguestbook/guestbook/ID?reporttitle=filename&tmpl=component#pgbTabForm
Отчетная ссылка на компонент гостевой книги Phoca Guestbook. Для значения параметра Ссылка на отчетДа.
http://domain.net.ua/menu_item/category_1?start=5
Нумерация страниц в категории.
http://domain.net.ua/menu_item/category/tag?tagid=1
Результаты поиска по меткам файлов. Для значения параметра Метка файла в виде ссылкиРезультаты поиска.
http://domain.net.ua/menu_item_upload?task=upload&a41fa07c09=0b99a6qacs&27f6e9ecf6=1
Пользовательская закачка файлов во фронтенде.
http://domain.net.ua/menu_item/category_1/file/1-filename_alias?tmpl=component
Кнопка деталей файла во всплывающем окне.
http://domain.net.ua/menu_item/play/1-filename_alias?tmpl=component
Кнопка воспроизведения файла во всплывающем окне.
http://domain.net.ua/menu_item?view=category&id=1
Просмотр страницы категории по ID.
http://domain.net.ua/menu_item?view=file&id=1
Просмотр страницы файла по ID.
http://domain.net.ua/files/category/1-category_1
Просмотр страницы категории (без пункта в меню на категорию).
http://domain.net.ua/menu_item/download/f944830eb8546bb50b68c32c3354e3065f489fbc164d5713911cd9850bb2bb91
Загрузка файла по уникальной ссылке (с токеном).

А также каталоги phocadownload (хранение файлов) и phocadownloadpap (воспроизведение и превью файлов).

Директива Allow. Что необходимо разрешить?

Обратите внимание на создание алиасов для пунктов в меню на макеты компонента Phoca Download. Рекомендуется не использовать слова, которые используются для формирования системных ссылок компонента - например, download (а-ля пункт в меню Скачать). Запретив индексировать прямую ссылку на загрузку файла, необходимо будет придумать правило для разрешения индексации страницы файла, которая будет содержать данное слово в теле ссылки.

Для индексации можно разрешить CSS-файлы phocadownload.css, rating.css (если в настройках компонента активно значение параметра рейтинга файлов) и JS-файлы компонента. Если в качестве MimeType файлов используются стандартные изображения, можно разрешить индексацию каталога media/com_phocadownload/images/mime.

Если в системе Joomla установлен и используется плагин Phoca Download Content Plugin, можно разрешить индексацию его CSS-файла и изображений MimeType файлов в каталоге media/plg_content_phocadownload.

Пример готового файла robots.txt, исходя из описанных рекомендаций.

## Phoca Download | Базовый robots.txt

User-agent: *
Disallow: /*?download=*                                      ## Прямая ссылка на загрузку файла
Disallow: /*?reporttitle=*                                   ## Отчетная ссылка на компонент Phoca Guestbook
Disallow: /*?start=*                                         ## Нумерация страниц в категории
Disallow: /*?tagid=*                                         ## Результаты поиска по меткам файлов
Disallow: /*?task=upload                                     ## Пользовательская закачка файлов во фронтенде
Disallow: /*?tmpl=component                                  ## Кнопка деталей файла / Кнопка воспроизведения файла
Disallow: /*?view=category&id=*                              ## Просмотр страницы категории по ID
Disallow: /*?view=file&id=*                                  ## Просмотр страницы файла по ID
Disallow: /category/                                         ## Просмотр страницы категории (без пункта в меню)
Disallow: /download/                                         ## Загрузка файла по уникальной ссылке (с токеном)
Disallow: /phocadownload/                                    ## Каталог для хранения файлов
Disallow: /phocadownloadpap/                                 ## Каталог для воспроизведения и превью файлов
Allow: /media/com_phocadownload/css/main/phocadownload.css   ## Индексация главного CSS-файла компонента
Allow: /media/com_phocadownload/css/main/rating.css          ## Индексация CSS-файла рейтинга файлов
Allow: /media/com_phocadownload/js/*.js                      ## Индексация JS-файлов компонента
Allow: /media/com_phocadownload/images/mime/*.png            ## Индексация изображений MimeType файлов
Allow: /media/plg_content_phocadownload/*.css                ## Индексация CSS-файла контент-плагина
Allow: /media/plg_content_phocadownload/*.png                ## Индексация изображений MimeType файлов (контент-плагин)
Sitemap: http://domain.net.ua/sitemap.xml                    ## Карта сайта (только ссылки на страницы файлов)

Внесите изменения в существующий в дистрибутиве Joomla файл robots.txt в корне сайта, соблюдая правило правильной группировки директив Disallow/Allow/Sitemap и не забыв заменить domain.net.ua на адрес своего сайта.

Для контроля воспользуйтесь онлайн-проверкой файла robots.txt (необходима авторизация).

В качестве заключения

В данном материале приведены общие рекомендации по созданию файлов sitemap.xml и robots.txt для Phoca Download. Совсем не обязательно, что вам необходимо использовать все описанные рекомендации. Совсем не обязательно, что поисковый робот найдет "плохие" ссылки компонента. Анализируйте собственную картину настроек Phoca Download, подбирайте правильные алиасы, используйте стандартный SEF Joomla и все получится ;).