Плагин robots_editor

ID: robots_editor
Name: Robots.txt Editor
Version: 1.5
Acts:
File: robots_editor.php
Config: config.php
Type: plugin
Description: Плагин для редактирования файла robots.txt
Author: Your Name
Author_URI:
Title: Редактор Robots.txt
Information: Позволяет управлять файлом robots.txt через админ-панель
Robots.txt Editor - это мощный плагин для NGCMS, который предоставляет удобный визуальный интерфейс для редактирования файла `robots.txt` прямо из админ-панели. Больше не нужно вручную редактировать файлы через FTP - все настройки доступны через интуитивный веб-интерфейс.

✨ Возможности
- ✅ **Визуальный редактор** с таблицей чекбоксов
- ✅ **Поддержка 3х User-agent**: Yandex, Googlebot, Все остальные
- ✅ **AI-боты поддержка**: управление поисковыми и обучающими AI-ботами
- ✅ **Текстовое поле** для дополнительных правил
- ✅ **Автоматическое добавление** Sitemap и Host
- ✅ **Предпросмотр** в реальном времени
- ✅ **Автосохранение** при изменении настроек
- ✅ **Резервное копирование** файлов
- ✅ **Поддержка сложных путей** с регулярными выражениями
- ✅ **Детальная отладка** при ошибках
## 📦 Установка
1. **Скачайте плагин** и распакуйте архив
2. **Скопируйте папку** `robots_editor` в директорию:
```
/engine/plugins/
```
3. **Активируйте плагин** в админ-панели NGCMS:
- Перейдите в `Админ-панель → Плагины`
- Найдите "Robots.txt Editor" в списке
- Нажмите "Активировать"
4. **Настройте плагин** через конфигурацию
## 🎮 Использование
### Основной интерфейс
1. **Перейдите в настройки плагина**:
```
Админ-панель → Плагины → Robots.txt Editor → Настройка
```
2. **Настройте параметры**:
- Автоматическое добавление карты сайта
- Права доступа для поисковых систем
- Дополнительные правила
3. **Сохраните изменения** - файл `robots.txt` обновится автоматически
### Статус файла
Плагин отображает текущий статус файла:
- ✅ Файл существует и доступен для записи
- ⚠️ Файл существует, но недоступен для записи
- ℹ️ Файл не существует (будет создан автоматически)
## ⚙️ Настройка прав доступа
### Таблица правил
Плагин предоставляет таблицу с тремя колонками для каждого User-agent:
| Путь |Описание|Yandex|Googlebot |Все|
|--------------------------|---------------------|----|----|-----|
| `/engine/` | Движок сайта | ☑ | ☑ | ☑ |
| `/uploads/images/` | Изображения | ☑ | ☑ | ☑ |
### Действия с чекбоксами
- **✅ Галочка установлена** → `Allow: /path/`
- **❌ Галочка снята** → `Disallow: /path/`
## 🤖 Управление AI-ботами
### AI Search боты (Поисковые)
Плагин поддерживает управление поисковыми AI-ботами, которые индексируют контент для AI-поиска:
- **OAI-SearchBot** - OpenAI ChatGPT Search
- **PerplexityBot** - Perplexity AI Search
- **Claude-Web** - Anthropic Claude Web
- **Claude-SearchBot** - Anthropic Claude SearchBot
**Настройка**: В админ-панели включите опцию **"Разрешить AI Search ботов"** (по умолчанию ВКЛ)
✅ **Рекомендация**: Включайте эту опцию, чтобы ваш контент появлялся в результатах AI-поиска (ChatGPT, Perplexity, Claude).
### AI Training боты (Обучение моделей)
Плагин позволяет блокировать ботов, которые собирают контент для обучения AI-моделей:
- **GPTBot** - OpenAI GPT обучение
- **ClaudeBot** - Anthropic Claude обучение
- **Google-Extended** - Google AI обучение
- **Meta-ExternalAgent** - Meta AI обучение
- **Bytespider** - ByteDance/TikTok AI
- **anthropic-ai** - Anthropic AI краулер
- **Omgilibot** - Omgili Bot
- **FacebookBot** - Facebook Bot
**Настройка**: В админ-панели включите опцию **"Блокировать AI Training ботов"** (по умолчанию ВКЛ)
✅ **Рекомендация**: Включайте эту опцию для защиты авторских прав на контент и предотвращения использования в обучении AI-моделей без вашего разрешения.
### Различие между Search и Training ботами
| Тип | Назначение | Рекомендация |
|--------------------|-----------------------------|-----------------------|
| **AI Search** | Индексация для поиска (ChatGPT Search, Perplexity) | ✅ Разрешить (видимость в AI-поиске) |
| **AI Training** | Сбор данных для обучения моделей | ❌ Блокировать (защита контента) |
### Пример robots.txt с AI-ботами
```robots.txt

Дополнительные правила
Текстовое поле для кастомных правил
В разделе "Дополнительные правила" можно добавить любые специальные директивы:
robots.txt

Поддерживаемые дополнительные директивы:
- `Clean-param` - очистка параметров URL
- `Crawl-delay` - задержка между запросами
- `User-agent` - особые правила для конкретных ботов
- Любые другие стандартные директивы robots.txt

Системные разделы
Системные папки
- `/engine/` - Движок сайта NGCMS
- `/templates/` - Шаблоны сайта
- `/uploads/avatars/` - Аватары пользователей
- `/uploads/files/` - Загруженные файлы
- `/uploads/images/thumb/` - Миниатюры изображений
- `/uploads/photos/` - Фотографии пользователей
- `/plugin/` - Плагины (общее)
- `/lib/` - Библиотеки
- `/webstat/` - Веб-статистика
- `/cache/` - Кеш
- `/tmp/` - Временные файлы
- `/admin/` - Админ-панель
Контентные разделы
- `/uploads/dsn/` - DSN файлы
- `/uploads/images/$` - Основные изображения
- `/plugin/gsmg/` - Карта сайта GSMG
- `/plugin/sitemap/` - Sitemap
- `/search/` - Поиск по сайту
- `/rss.xml` - RSS лента
- `/login/` - Страница входа
- `/logout/` - Выход из системы
- `/register/` - Регистрация
- `/activate/` - Активация аккаунта
- `/lostpassword/` - Восстановление пароля
- `/profile.html` - Профиль пользователя
- `/users/` - Пользователи
- `/page/` - Статические страницы
- `/*print` - Версия для печати
- `/*xml` - XML файлы
- `/*201*` - Архивные материалы
- `*/page/1$` - Первые страницы пагинации
Примеры
Пример generated robots.txt
robots.txt

Пример дополнительных правил
Ограничение скорости сканирования:
robots.txt

Очистка параметров URL:
robots.txt

Особые правила для конкретного бота:
robots.txt

Требования
- NGCMS версии не ниже 2020731
- PHP 8.1 или выше
- Права на запись в корневую директорию сайта

Решение проблем
Файл не сохраняется
1. Проверьте права доступа:
2. Проверьте файл отладки:
/корень_сайта/robots_debug.log
3. Создайте файл вручную:

common проблемы
- Файл создается в engine/ → Исправлено в последней версии
- Не отображаются изменения → Очистите кеш браузера
- Ошибки прав доступа → Настройте права на директорию

Поддержка
При возникновении проблем:
1. Проверьте **файл отладки**: `robots_debug.log`
2. Убедитесь в **правах доступа** к корневой директории
3. Проверьте **ошибки PHP** в логах сервера
4. **Напишите issue** в репозитории плагина
Лицензия
MIT License - подробности в файле LICENSE
Автор
Разработано для сообщества NGCMS

Скачать:robots_editor_87a573c7.zip