d3m0k1d
@@ -0,0 +1,32 @@
|
||||
name: release-agent
|
||||
|
||||
on:
|
||||
push:
|
||||
tags:
|
||||
- 'v*'
|
||||
|
||||
permissions:
|
||||
contents: write
|
||||
packages: write
|
||||
|
||||
jobs:
|
||||
release:
|
||||
runs-on: ubuntu-latest
|
||||
steps:
|
||||
- name: Checkout
|
||||
uses: actions/checkout@v6
|
||||
with:
|
||||
fetch-depth: 0
|
||||
- name: Go setup
|
||||
uses: actions/setup-go@v6
|
||||
with:
|
||||
go-version: "1.26.1"
|
||||
- name: Run GoReleaser
|
||||
uses: goreleaser/goreleaser-action@v6
|
||||
with:
|
||||
distribution: goreleaser
|
||||
version: latest
|
||||
args: release --clean
|
||||
workdir: agent
|
||||
env:
|
||||
GITEA_TOKEN: ${{ secrets.GITEA_TOKEN }}
|
||||
@@ -1 +1,426 @@
|
||||
# HellreigN
|
||||
# HellreigN
|
||||
|
||||
Платформа централизованного мониторинга логов, управления скриптами и деплоя агентов.
|
||||
|
||||
## Архитектура
|
||||
|
||||
```
|
||||
┌─────────────┐ gRPC (mTLS) ┌────────┐
|
||||
│ Agent 1 │ ───────────────────────► │ │
|
||||
└─────────────┘ │ │
|
||||
┌─────────────┐ gRPC (mTLS) │Backend │ HTTP ┌──────────┐
|
||||
│ Agent 2 │ ───────────────────────► │ :8080 │ ◄──────────────── │ Frontend │
|
||||
└─────────────┘ │ :9001 │ │ :3000 │
|
||||
┌─────────────┐ gRPC (mTLS) │ │ └──────────┘
|
||||
│ Agent N │ ───────────────────────► │ │
|
||||
└─────────────┘ └───┬────┘
|
||||
│
|
||||
▼
|
||||
┌─────────────┐
|
||||
│ ClickHouse │
|
||||
│ :8123/:9000│
|
||||
└─────────────┘
|
||||
```
|
||||
|
||||
### Компоненты
|
||||
|
||||
| Компонент | Описание |
|
||||
|-----------|----------|
|
||||
| **Backend** | Go (Gin + gRPC). REST API, gRPC сервер с mTLS, хранение токенов в SQLite |
|
||||
| **Agent** | Go. Сбор логов (journald, docker, kubernetes, file), отправка метрик, выполнение команд |
|
||||
| **Frontend** | React 19 + TypeScript + TailwindCSS + PrimeReact |
|
||||
| **ClickHouse** | Хранилище логов |
|
||||
|
||||
## Быстрый старт
|
||||
|
||||
### Требования
|
||||
|
||||
- Docker + Docker Compose
|
||||
- Go 1.26.1+ (для локальной разработки)
|
||||
- protoc + protoc-gen-go (для генерации proto)
|
||||
|
||||
### Деплой через Docker Compose
|
||||
|
||||
```bash
|
||||
cd infra
|
||||
docker compose up -d --build
|
||||
```
|
||||
|
||||
Это поднимет:
|
||||
- **ClickHouse** — хранилище логов
|
||||
- **Backend** — API на порту `8080`, gRPC на `9001`
|
||||
- **Frontend** — веб-интерфейс на порту `3000`
|
||||
- **Agent** — агент мониторинга (пример)
|
||||
|
||||
Откройте `http://localhost:3000`. Логин: `admin`, пароль: `admin123`.
|
||||
|
||||
### Локальная разработка
|
||||
|
||||
#### Backend
|
||||
|
||||
```bash
|
||||
cd backend
|
||||
go mod tidy
|
||||
go run ./cmd/main.go
|
||||
```
|
||||
|
||||
#### Frontend
|
||||
|
||||
```bash
|
||||
cd frontend
|
||||
npm install
|
||||
npm run dev
|
||||
```
|
||||
|
||||
#### Agent
|
||||
|
||||
```bash
|
||||
cd agent
|
||||
go mod tidy
|
||||
CONFIG_FILE=./config.yml go run main.go
|
||||
```
|
||||
|
||||
## Конфигурация
|
||||
|
||||
### Backend (`infra/backend/config.yml`)
|
||||
|
||||
```yaml
|
||||
database:
|
||||
token_db: /var/lib/hellreign/tokens.db # SQLite база токенов и пользователей
|
||||
clickhouse_host: clickhouse:9000 # ClickHouse native порт
|
||||
clickhouse_user: default # Пользователь ClickHouse
|
||||
clickhouse_password: testpassword # Пароль ClickHouse
|
||||
clickhouse_database: hellreign # База данных ClickHouse
|
||||
admin:
|
||||
admin_name: Admin # Имя администратора
|
||||
admin_last_name: User # Фамилия администратора
|
||||
admin_login: admin # Логин администратора
|
||||
admin_password: admin123 # Пароль администратора (смените!)
|
||||
```
|
||||
|
||||
### Agent (`infra/agent/config.yml`)
|
||||
|
||||
```yaml
|
||||
backend_url: http://backend:8080 # HTTP URL бэкенда
|
||||
grpc_url: backend:9001 # gRPC URL бэкенда
|
||||
label: test-agent-1 # Уникальная метка агента
|
||||
registration_token: "your-token-here" # Токен регистрации (сгенерировать в UI)
|
||||
cert_dir: /etc/hellreign-agent/certs # Директория для mTLS сертификатов
|
||||
services:
|
||||
# Сбор логов из journald
|
||||
- name: system
|
||||
type: journald
|
||||
|
||||
# Сбор логов Docker контейнера
|
||||
- name: nginx
|
||||
type: docker
|
||||
|
||||
# Сбор логов из journald + проверка systemd сервиса
|
||||
- name: sshd
|
||||
type: journald
|
||||
systemd_unit: sshd # Опционально: проверка alive/dead
|
||||
|
||||
# Сбор логов из файла
|
||||
- name: myapp
|
||||
type: file
|
||||
path: /var/log/myapp/app.log
|
||||
|
||||
# Сбор логов из Kubernetes
|
||||
- name: mypod
|
||||
type: kubernetes
|
||||
namespace: default
|
||||
pod: my-pod
|
||||
container: my-container
|
||||
```
|
||||
|
||||
### Graph зависимостей (`infra/services.yaml`)
|
||||
|
||||
Описывает зависимости сервисов для построения графа и определения причин сбоев:
|
||||
|
||||
```yaml
|
||||
nodes:
|
||||
test-agent-1:
|
||||
services:
|
||||
nginx:
|
||||
depends_on:
|
||||
- sshd
|
||||
sshd:
|
||||
depends_on: []
|
||||
system:
|
||||
depends_on:
|
||||
- sshd
|
||||
```
|
||||
|
||||
## Переменные окружения
|
||||
|
||||
### Backend
|
||||
|
||||
| Переменная | По умолчанию | Описание |
|
||||
|------------|-------------|----------|
|
||||
| `CONFIG_FILE` | `/etc/hellreign/config.yml` | Путь к YAML конфигу |
|
||||
| `GRAPH_YAML_PATH` | `/etc/hellreign/services.yaml` | Путь к графу сервисов |
|
||||
| `SSL_CERT_DIR` | `/var/lib/hellreign/ssl` | Директория SSL сертификатов для mTLS |
|
||||
| `SERVER_SAN_DNS` | `localhost,backend` | SAN DNS для серверного сертификата |
|
||||
| `SERVER_SAN_IP` | `127.0.0.1` | SAN IP для серверного сертификата |
|
||||
| `GRPC_PORT` | `9001` | Порт gRPC сервера |
|
||||
| `GIN_MODE` | `release` | Режим Gin (`debug` / `release`) |
|
||||
|
||||
### Agent
|
||||
|
||||
| Переменная | По умолчанию | Описание |
|
||||
|------------|-------------|----------|
|
||||
| `CONFIG_FILE` | `/etc/hellreign-agent/config.yml` | Путь к YAML конфигу агента |
|
||||
| `JOURNALD_LOGDIR` | `/var/log/journal` | Директория логов journald (read-only) |
|
||||
| `BUFFER_DB` | `/var/lib/hellreign-agent/agent_buffer.db` | SQLite буфер для офлайн-доставки |
|
||||
| `IS_DEBUG` | `0` | Включить debug логи агента (`1` / `0`) |
|
||||
|
||||
## Порты
|
||||
|
||||
| Сервис | Порт | Назначение |
|
||||
|--------|------|------------|
|
||||
| Frontend | `3000` | Веб-интерфейс (Nginx → React) |
|
||||
| Backend HTTP | `8080` | REST API + Swagger UI |
|
||||
| Backend gRPC | `9001` | gRPC с mTLS (Commander + Collector) |
|
||||
| ClickHouse HTTP | `8123` | HTTP интерфейс ClickHouse |
|
||||
| ClickHouse Native | `9000` | Native протокол ClickHouse |
|
||||
|
||||
## API
|
||||
|
||||
### Авторизация
|
||||
|
||||
```bash
|
||||
# Логин
|
||||
curl -X POST http://localhost:8080/api/v1/auth/login \
|
||||
-H "Content-Type: application/json" \
|
||||
-d '{"login":"admin","password":"admin123"}'
|
||||
|
||||
# Создать токен
|
||||
curl -X POST http://localhost:8080/api/v1/auth/token \
|
||||
-H "Authorization: Bearer <jwt>" \
|
||||
-H "Content-Type: application/json" \
|
||||
-d '{"name":"my-token","permissions":["admin"]}'
|
||||
```
|
||||
|
||||
### Регистрация агента
|
||||
|
||||
```bash
|
||||
# Сгенерировать токен регистрации (admin)
|
||||
curl -X POST http://localhost:8080/api/v1/agents/register-token \
|
||||
-H "Authorization: Bearer <jwt>"
|
||||
|
||||
# Зарегистрировать агент
|
||||
curl -X POST http://localhost:8080/api/v1/agents/register \
|
||||
-H "Content-Type: application/json" \
|
||||
-d '{"registration_token":"<token>","csr":"<pem>"}'
|
||||
```
|
||||
|
||||
### Логи
|
||||
|
||||
```bash
|
||||
# Поиск логов
|
||||
curl "http://localhost:8080/api/v1/logs?service=nginx&level=error&from=2024-01-01T00:00:00Z" \
|
||||
-H "Authorization: Bearer <jwt>"
|
||||
|
||||
# Список сервисов
|
||||
curl http://localhost:8080/api/v1/logs/services \
|
||||
-H "Authorization: Bearer <jwt>"
|
||||
```
|
||||
|
||||
### Агенты и метрики
|
||||
|
||||
```bash
|
||||
# Список подключённых агентов
|
||||
curl http://localhost:8080/api/v1/agents \
|
||||
-H "Authorization: Bearer <jwt>"
|
||||
|
||||
# Метрики нагрузки (CPU, RAM, disk, network)
|
||||
curl http://localhost:8080/api/v1/agents/system-metrics \
|
||||
-H "Authorization: Bearer <jwt>"
|
||||
```
|
||||
|
||||
### Скрипты
|
||||
|
||||
```bash
|
||||
# Дерево скриптов
|
||||
curl http://localhost:8080/api/v1/scripts/tree \
|
||||
-H "Authorization: Bearer <jwt>"
|
||||
|
||||
# Создать скрипт
|
||||
curl -X POST http://localhost:8080/api/v1/scripts \
|
||||
-H "Authorization: Bearer <jwt>" \
|
||||
-H "Content-Type: application/json" \
|
||||
-d '{"path":"deploy/restart.sh","content":"#!/bin/bash\nsystemctl restart nginx","interpreter_id":1}'
|
||||
|
||||
# Запустить скрипт
|
||||
curl -X POST http://localhost:8080/api/v1/scripts/1/run \
|
||||
-H "Authorization: Bearer <jwt>" \
|
||||
-H "Content-Type: application/json" \
|
||||
-d '{"token":"agent-token","stdin":""}'
|
||||
|
||||
# Переименовать скрипт или папку
|
||||
curl -X POST http://localhost:8080/api/v1/scripts/rename \
|
||||
-H "Authorization: Bearer <jwt>" \
|
||||
-H "Content-Type: application/json" \
|
||||
-d '{"old_path":"deploy/old.sh","new_path":"deploy/new.sh"}'
|
||||
```
|
||||
|
||||
### Swagger
|
||||
|
||||
Swagger UI доступен по адресу: `http://localhost:8080/swagger/index.html`
|
||||
|
||||
Перегенерация:
|
||||
|
||||
```bash
|
||||
cd backend
|
||||
swag init -g ./cmd/main.go --parseDependency --parseInternal
|
||||
```
|
||||
|
||||
## Proto
|
||||
|
||||
gRPC протокол определён в `proto/hellreign.proto`. После изменений:
|
||||
|
||||
```bash
|
||||
cd proto
|
||||
protoc --go_out=. --go_opt=paths=source_relative \
|
||||
--go-grpc_out=. --go-grpc_opt=paths=source_relative \
|
||||
hellreign.proto
|
||||
mv hellreign*.go proto/
|
||||
```
|
||||
|
||||
## Миграции
|
||||
|
||||
SQL миграции для SQLite хранятся в `migrations/`. Применяются автоматически при старте бэкенда.
|
||||
|
||||
## Деплой агента на хост
|
||||
|
||||
### 1. Создать директорию
|
||||
|
||||
```bash
|
||||
sudo mkdir -p /etc/hellreign-agent/certs
|
||||
sudo mkdir -p /var/lib/hellreign-agent
|
||||
```
|
||||
|
||||
### 2. Конфиг
|
||||
|
||||
```bash
|
||||
sudo nano /etc/hellreign-agent/config.yml
|
||||
```
|
||||
|
||||
```yaml
|
||||
backend_url: https://your-backend.example.com
|
||||
grpc_url: your-backend.example.com:9001
|
||||
label: production-server-1
|
||||
registration_token: "token-from-ui"
|
||||
cert_dir: /etc/hellreign-agent/certs
|
||||
services:
|
||||
- name: nginx
|
||||
type: journald
|
||||
systemd_unit: nginx.service
|
||||
- name: postgres
|
||||
type: journald
|
||||
systemd_unit: postgresql.service
|
||||
```
|
||||
|
||||
### 3. Установить бинарь
|
||||
|
||||
Скачать релиз из Gitea или собрать:
|
||||
|
||||
```bash
|
||||
cd agent
|
||||
go build -o hellreign-agent ./main.go
|
||||
sudo mv hellreign-agent /usr/bin/
|
||||
```
|
||||
|
||||
### 4. Systemd сервис
|
||||
|
||||
```ini
|
||||
[Unit]
|
||||
Description=HellreigN Agent
|
||||
After=network-online.target
|
||||
|
||||
[Service]
|
||||
Type=simple
|
||||
ExecStart=/usr/bin/hellreign-agent
|
||||
Environment=CONFIG_FILE=/etc/hellreign-agent/config.yml
|
||||
Restart=always
|
||||
RestartSec=5
|
||||
|
||||
[Install]
|
||||
WantedBy=multi-user.target
|
||||
```
|
||||
|
||||
```bash
|
||||
sudo systemctl daemon-reload
|
||||
sudo systemctl enable --now hellreign-agent
|
||||
```
|
||||
|
||||
## CI/CD
|
||||
|
||||
### GoReleaser (агент)
|
||||
|
||||
При пуше тега `v*` автоматически собирается релиз:
|
||||
|
||||
```bash
|
||||
git tag v1.0.0
|
||||
git push origin v1.0.0
|
||||
```
|
||||
|
||||
Собираются `.deb` и `.rpm` пакеты для `linux/amd64` и `linux/arm64`.
|
||||
|
||||
Требует секрет `GITEA_TOKEN` в настройках репозитория.
|
||||
|
||||
## Структура проекта
|
||||
|
||||
```
|
||||
HellreigN/
|
||||
├── agent/ # Агент мониторинга
|
||||
│ ├── main.go # Точка входа
|
||||
│ ├── dockerfile
|
||||
│ ├── .goreleaser.yml # Конфиг GoReleaser
|
||||
│ └── internal/
|
||||
│ ├── buffer/ # SQLite буфер логов
|
||||
│ ├── client/ # gRPC клиент команд
|
||||
│ ├── commander/ # Исполнитель команд
|
||||
│ ├── config/ # Загрузка YAML конфига
|
||||
│ ├── logger/ # Логгер
|
||||
│ ├── logsource/ # Источники логов
|
||||
│ │ ├── docker/ # Docker логи
|
||||
│ │ ├── file/ # File логи
|
||||
│ │ ├── journald/ # Journald логи
|
||||
│ │ └── kubernetes/ # Kubernetes логи
|
||||
│ ├── metrics/ # Сбор метрик (CPU, RAM, disk, network)
|
||||
│ ├── mtls/ # mTLS credentials
|
||||
│ └── registration/ # Регистрация агента
|
||||
├── backend/ # Бэкенд API
|
||||
│ ├── cmd/main.go # Точка входа
|
||||
│ ├── dockerfile
|
||||
│ ├── internal/
|
||||
│ │ ├── handlers/ # HTTP хендлеры
|
||||
│ │ ├── repository/ # Репозитории (SQLite)
|
||||
│ │ ├── service/ # Бизнес-логика
|
||||
│ │ ├── storage/ # ClickHouse storage
|
||||
│ │ ├── grpcsrv/ # gRPC серверы
|
||||
│ │ │ ├── commander/ # Выполнение команд на агентах
|
||||
│ │ │ └── collector/ # Сбор логов и метрик
|
||||
│ │ ├── auth/ # JWT авторизация
|
||||
│ │ └── config/ # Загрузка конфига
|
||||
│ └── docs/ # Swagger документация
|
||||
├── frontend/ # Веб-интерфейс
|
||||
│ ├── dockerfile
|
||||
│ ├── nginx.conf
|
||||
│ └── src/
|
||||
├── infra/ # Docker Compose деплой
|
||||
│ ├── docker-compose.yml
|
||||
│ ├── services.yaml # Граф зависимостей
|
||||
│ ├── backend/config.yml # Конфиг бэкенда
|
||||
│ ├── agent/config.yml # Конфиг агента
|
||||
│ └── clickhouse/init/ # Инициализация ClickHouse
|
||||
├── migrations/ # SQL миграции SQLite
|
||||
├── proto/ # Protobuf определения
|
||||
│ ├── hellreign.proto
|
||||
│ └── proto/ # Сгенерированный Go код
|
||||
└── .gitea/workflows/ # Gitea Actions CI/CD
|
||||
├── ci-agent.yml
|
||||
├── ci-front.yml
|
||||
└── release-agent.yml
|
||||
```
|
||||
|
||||
Reference in New Issue
Block a user