Compare commits
10 Commits
dfd626ce7b
...
4528cd9ccd
| Author | SHA1 | Date | |
|---|---|---|---|
| 4528cd9ccd | |||
| fd2e00069b | |||
| a7011b2dd3 | |||
| d9d72b1e38 | |||
| 0f80487482 | |||
| bcd4d66c9f | |||
| 220a8f8023 | |||
| a863e985f6 | |||
| f8e0267b54 | |||
| c982c4e359 |
134
.gitea/workflows/README.md
Normal file
134
.gitea/workflows/README.md
Normal file
@@ -0,0 +1,134 @@
|
||||
> [!WARNING]
|
||||
> **Это зеркало!** Основной репозиторий: [https://gromlab.ru/gromov/gitea-server](https://gromlab.ru/gromov/gitea-server)
|
||||
>
|
||||
> GitHub утратил статус надежной площадки для open-source, применяя политические блокировки репозиториев вместо сохранения нейтралитета. Блокировки коснулись разработчиков из России (Донецк, Луганск, Крым, Херсонская обл., Запорожская обл.), Ирана, Сирии, Кубы и Северной Кореи.
|
||||
>
|
||||
> - ⚠️ Pull requests и issues создавайте только в основном репозитории
|
||||
> - 🔄 Зеркало обновляется автоматически
|
||||
> - 🚫 Изменения здесь будут перезаписаны
|
||||
|
||||
# Docker S3 Backup
|
||||
|
||||
Автоматическое резервное копирование Docker-проектов в S3-хранилище по расписанию.
|
||||
|
||||
## Что делает
|
||||
|
||||
- Создаёт полный архив директории проекта
|
||||
- Загружает в S3-совместимое хранилище (Yandex Cloud, Timeweb, AWS S3, MinIO)
|
||||
- Работает по расписанию cron (по умолчанию: каждый день в 05:00 МСК)
|
||||
- Хранит только последние N версий бэкапов (по умолчанию: 30)
|
||||
- Сохраняет бекапы в папку с именем проекта: `s3://bucket/project-name/`
|
||||
- Опционально останавливает сервисы перед бекапом
|
||||
|
||||
## Быстрый старт
|
||||
|
||||
Создайте `docker-compose.yaml`:
|
||||
|
||||
```yaml
|
||||
services:
|
||||
backup:
|
||||
image: ghcr.io/gromov-io/docker-s3-backup:latest
|
||||
container_name: project-backup
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
- BACKUP_PROJECT_NAME=my-project
|
||||
- BACKUP_S3_BUCKET=my-backups
|
||||
- BACKUP_S3_ENDPOINT=s3.twcstorage.ru
|
||||
- BACKUP_S3_ACCESS_KEY=your_key
|
||||
- BACKUP_S3_SECRET_KEY=your_secret
|
||||
volumes:
|
||||
- .:/backup-source:ro
|
||||
- /var/run/docker.sock:/var/run/docker.sock:ro
|
||||
```
|
||||
|
||||
Запустите:
|
||||
|
||||
```bash
|
||||
docker compose up -d backup
|
||||
```
|
||||
|
||||
**По умолчанию:**
|
||||
- Часовой пояс: `Europe/Moscow`
|
||||
- Расписание: каждый день в `05:00`
|
||||
- Хранение: `30` последних версий
|
||||
- Папка в S3: `{project-name}/`
|
||||
|
||||
## Ручной запуск бекапа
|
||||
|
||||
```bash
|
||||
docker exec project-backup /scripts/backup.sh
|
||||
```
|
||||
|
||||
## Переменные окружения
|
||||
|
||||
### Обязательные
|
||||
|
||||
| Переменная | Описание | Пример |
|
||||
|------------|----------|--------|
|
||||
| `BACKUP_S3_BUCKET` | S3 бакет | `my-backups` |
|
||||
| `BACKUP_S3_ENDPOINT` | S3 эндпоинт | `s3.twcstorage.ru` |
|
||||
| `BACKUP_S3_ACCESS_KEY` | Ключ доступа | `your_key` |
|
||||
| `BACKUP_S3_SECRET_KEY` | Секретный ключ | `your_secret` |
|
||||
|
||||
### Опциональные
|
||||
|
||||
| Переменная | По умолчанию | Описание |
|
||||
|------------|--------------|----------|
|
||||
| `TZ` | `Europe/Moscow` | Часовой пояс |
|
||||
| `BACKUP_PROJECT_NAME` | `project` | Имя проекта |
|
||||
| `BACKUP_SCHEDULE` | `0 5 * * *` | Расписание cron |
|
||||
| `BACKUP_RETENTION_COUNT` | `30` | Количество версий |
|
||||
| `BACKUP_S3_REGION` | `ru-1` | Регион S3 |
|
||||
| `BACKUP_S3_FOLDER` | `{project}` | Папка в бакете |
|
||||
| `BACKUP_ON_START` | `false` | Бекап при старте |
|
||||
| `BACKUP_STOP_SERVICES` | - | Сервисы для остановки |
|
||||
|
||||
|
||||
## Полезные команды
|
||||
|
||||
**Просмотр логов:**
|
||||
```bash
|
||||
docker logs -f project-backup
|
||||
docker exec project-backup tail -f /var/log/backup.log
|
||||
```
|
||||
|
||||
**Проверка S3:**
|
||||
```bash
|
||||
docker exec project-backup aws s3 ls s3://your-bucket --endpoint-url=https://your-endpoint
|
||||
```
|
||||
|
||||
|
||||
## Расписания cron
|
||||
|
||||
```yaml
|
||||
# Каждый день в 05:00
|
||||
- BACKUP_SCHEDULE=0 5 * * *
|
||||
|
||||
# Каждые 6 часов
|
||||
- BACKUP_SCHEDULE=0 */6 * * *
|
||||
|
||||
# Каждое воскресенье в 02:00
|
||||
- BACKUP_SCHEDULE=0 2 * * 0
|
||||
|
||||
# Каждые 30 минут
|
||||
- BACKUP_SCHEDULE=*/30 * * * *
|
||||
```
|
||||
|
||||
## Остановка сервисов
|
||||
|
||||
Для консистентности данных можно останавливать сервисы:
|
||||
|
||||
```yaml
|
||||
environment:
|
||||
- BACKUP_STOP_SERVICES=gitea postgres
|
||||
```
|
||||
|
||||
**Важно:** Контейнер `backup` должен быть запущен из **того же** `docker-compose.yaml` что и целевые сервисы. Project name определяется автоматически через Docker labels.
|
||||
|
||||
Сервисы автоматически запустятся после создания архива.
|
||||
|
||||
|
||||
## Лицензия
|
||||
|
||||
MIT
|
||||
|
||||
70
.gitea/workflows/docker-build-1.yml
Normal file
70
.gitea/workflows/docker-build-1.yml
Normal file
@@ -0,0 +1,70 @@
|
||||
name: Build and Push Docker Image (gitea)
|
||||
|
||||
on:
|
||||
push:
|
||||
branches:
|
||||
- main
|
||||
- master
|
||||
tags:
|
||||
- 'v*'
|
||||
pull_request:
|
||||
branches:
|
||||
- main
|
||||
- master
|
||||
|
||||
env:
|
||||
REGISTRY: gromlab.ru # Gitea Container Registry (домен без https://)
|
||||
IMAGE_NAME: ${{ gitea.repository }}
|
||||
|
||||
jobs:
|
||||
build-and-push:
|
||||
runs-on: ubuntu-latest
|
||||
permissions:
|
||||
contents: read
|
||||
packages: write
|
||||
|
||||
steps:
|
||||
- name: Checkout repository
|
||||
uses: actions/checkout@v4
|
||||
|
||||
- name: Set up QEMU
|
||||
uses: docker/setup-qemu-action@v3
|
||||
|
||||
- name: Set up Docker Buildx
|
||||
uses: docker/setup-buildx-action@v3
|
||||
|
||||
- name: Log in to Container Registry
|
||||
if: gitea.event_name != 'pull_request'
|
||||
uses: docker/login-action@v3
|
||||
with:
|
||||
registry: ${{ env.REGISTRY }}
|
||||
username: ${{ secrets.REGISTRY_USERNAME }}
|
||||
password: ${{ secrets.REGISTRY_PASSWORD }}
|
||||
|
||||
- name: Extract metadata
|
||||
id: meta
|
||||
uses: docker/metadata-action@v5
|
||||
with:
|
||||
images: ${{ env.REGISTRY }}/${{ env.IMAGE_NAME }}
|
||||
tags: |
|
||||
type=ref,event=branch
|
||||
type=ref,event=pr
|
||||
type=semver,pattern={{version}}
|
||||
type=semver,pattern={{major}}.{{minor}}
|
||||
type=semver,pattern={{major}}
|
||||
type=sha,prefix={{branch}}-
|
||||
type=raw,value=latest,enable={{is_default_branch}}
|
||||
|
||||
- name: Build and push Docker image
|
||||
uses: docker/build-push-action@v5
|
||||
with:
|
||||
context: .
|
||||
platforms: linux/amd64,linux/arm64
|
||||
push: ${{ gitea.event_name != 'pull_request' }}
|
||||
tags: ${{ steps.meta.outputs.tags }}
|
||||
labels: ${{ steps.meta.outputs.labels }}
|
||||
cache-from: type=gha
|
||||
cache-to: type=gha,mode=max
|
||||
|
||||
- name: Image digest
|
||||
run: echo "Image pushed with digest ${{ steps.build-and-push.outputs.digest }}"
|
||||
72
.github/workflows/docker-build.yml
vendored
Normal file
72
.github/workflows/docker-build.yml
vendored
Normal file
@@ -0,0 +1,72 @@
|
||||
name: Build and Push Docker Image
|
||||
|
||||
on:
|
||||
push:
|
||||
branches:
|
||||
- main
|
||||
- master
|
||||
tags:
|
||||
- 'v*'
|
||||
pull_request:
|
||||
branches:
|
||||
- main
|
||||
- master
|
||||
workflow_dispatch:
|
||||
|
||||
env:
|
||||
REGISTRY: ghcr.io
|
||||
IMAGE_NAME: ${{ github.repository }}
|
||||
|
||||
jobs:
|
||||
build-and-push:
|
||||
runs-on: ubuntu-latest
|
||||
permissions:
|
||||
contents: read
|
||||
packages: write
|
||||
|
||||
steps:
|
||||
- name: Checkout repository
|
||||
uses: actions/checkout@v4
|
||||
|
||||
- name: Set up QEMU
|
||||
uses: docker/setup-qemu-action@v3
|
||||
|
||||
- name: Set up Docker Buildx
|
||||
uses: docker/setup-buildx-action@v3
|
||||
|
||||
- name: Log in to Container Registry
|
||||
if: github.event_name != 'pull_request'
|
||||
uses: docker/login-action@v3
|
||||
with:
|
||||
registry: ${{ env.REGISTRY }}
|
||||
username: ${{ github.actor }}
|
||||
password: ${{ secrets.GITHUB_TOKEN }}
|
||||
|
||||
- name: Extract metadata
|
||||
id: meta
|
||||
uses: docker/metadata-action@v5
|
||||
with:
|
||||
images: ${{ env.REGISTRY }}/${{ env.IMAGE_NAME }}
|
||||
tags: |
|
||||
type=ref,event=branch
|
||||
type=ref,event=pr
|
||||
type=semver,pattern={{version}}
|
||||
type=semver,pattern={{major}}.{{minor}}
|
||||
type=semver,pattern={{major}}
|
||||
type=sha,prefix={{branch}}-
|
||||
type=raw,value=latest,enable={{is_default_branch}}
|
||||
|
||||
- name: Build and push Docker image
|
||||
uses: docker/build-push-action@v5
|
||||
with:
|
||||
context: .
|
||||
platforms: linux/amd64,linux/arm64
|
||||
push: ${{ github.event_name != 'pull_request' }}
|
||||
tags: ${{ steps.meta.outputs.tags }}
|
||||
labels: ${{ steps.meta.outputs.labels }}
|
||||
cache-from: type=gha
|
||||
cache-to: type=gha,mode=max
|
||||
|
||||
- name: Image digest
|
||||
run: echo "Image pushed with digest ${{ steps.build-and-push.outputs.digest }}"
|
||||
|
||||
31
.gitignore
vendored
Normal file
31
.gitignore
vendored
Normal file
@@ -0,0 +1,31 @@
|
||||
# Environment variables
|
||||
.env
|
||||
.env.local
|
||||
.env.*.local
|
||||
|
||||
# Docker volumes
|
||||
data/
|
||||
volumes/
|
||||
|
||||
# Logs
|
||||
*.log
|
||||
logs/
|
||||
|
||||
# Temporary files
|
||||
*.tmp
|
||||
*.swp
|
||||
*.swo
|
||||
*~
|
||||
|
||||
# IDE
|
||||
.vscode/
|
||||
.idea/
|
||||
*.iml
|
||||
|
||||
# OS
|
||||
.DS_Store
|
||||
Thumbs.db
|
||||
|
||||
# Backup files
|
||||
*.bak
|
||||
|
||||
@@ -36,6 +36,9 @@ RUN chmod +x /scripts/backup.sh /scripts/entrypoint.sh
|
||||
# Устанавливаем рабочую директорию
|
||||
WORKDIR /scripts
|
||||
|
||||
# Устанавливаем дефолтный часовой пояс
|
||||
ENV TZ=Europe/Moscow
|
||||
|
||||
# Запускаем entrypoint
|
||||
CMD ["/scripts/entrypoint.sh"]
|
||||
|
||||
|
||||
244
README.md
244
README.md
@@ -1,117 +1,99 @@
|
||||
# 🗄️ Universal Docker Backup Service
|
||||
# Docker S3 Backup
|
||||
|
||||
Универсальная система автоматического резервного копирования Docker-проектов с загрузкой в S3-совместимое хранилище.
|
||||
Автоматическое резервное копирование Docker-проектов в S3-хранилище по расписанию.
|
||||
|
||||
## ✨ Возможности
|
||||
## Что делает
|
||||
|
||||
- ✅ Автоматическое создание tar.gz архивов по расписанию (cron)
|
||||
- ✅ Загрузка бэкапов в S3-совместимые хранилища (Yandex Cloud, AWS S3, MinIO, Timeweb и т.д.)
|
||||
- ✅ Опциональная остановка сервисов перед бекапом для консистентности данных
|
||||
- ✅ Автоматическое удаление старых бэкапов
|
||||
- ✅ Подробное логирование всех операций
|
||||
- ✅ Запуск в отдельном Docker-контейнере
|
||||
- Создаёт полный архив директории проекта
|
||||
- Загружает в S3-совместимое хранилище (Yandex Cloud, Timeweb, AWS S3, MinIO)
|
||||
- Работает по расписанию cron (по умолчанию: каждый день в 05:00 МСК)
|
||||
- Хранит только последние N версий бэкапов (по умолчанию: 30)
|
||||
- Сохраняет бекапы в папку с именем проекта: `s3://bucket/project-name/`
|
||||
- Опционально останавливает сервисы перед бекапом
|
||||
|
||||
## 🚀 Быстрый старт
|
||||
## Быстрый старт
|
||||
|
||||
### 1. Подготовка
|
||||
|
||||
Скопируйте файлы в директорию вашего проекта, который нужно бекапить:
|
||||
|
||||
```bash
|
||||
git clone <this-repo> backup-system
|
||||
cd your-project
|
||||
cp -r backup-system/* .
|
||||
```
|
||||
|
||||
### 2. Настройка
|
||||
|
||||
Отредактируйте `docker-compose.yaml` и укажите свои значения переменных окружения:
|
||||
Создайте `docker-compose.yaml`:
|
||||
|
||||
```yaml
|
||||
environment:
|
||||
# Обязательные параметры
|
||||
- BACKUP_PROJECT_NAME=my-project
|
||||
- BACKUP_S3_BUCKET=my-backups
|
||||
- BACKUP_S3_ENDPOINT=s3.twcstorage.ru
|
||||
- BACKUP_S3_ACCESS_KEY=your_access_key
|
||||
- BACKUP_S3_SECRET_KEY=your_secret_key
|
||||
|
||||
# Необязательные параметры
|
||||
- BACKUP_SCHEDULE=0 3 * * * # Каждый день в 03:00
|
||||
- BACKUP_RETENTION_DAYS=30
|
||||
services:
|
||||
backup:
|
||||
image: ghcr.io/gromov-io/docker-s3-backup:latest
|
||||
container_name: project-backup
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
- BACKUP_PROJECT_NAME=my-project
|
||||
- BACKUP_S3_BUCKET=my-backups
|
||||
- BACKUP_S3_ENDPOINT=s3.twcstorage.ru
|
||||
- BACKUP_S3_ACCESS_KEY=your_key
|
||||
- BACKUP_S3_SECRET_KEY=your_secret
|
||||
volumes:
|
||||
- .:/backup-source:ro
|
||||
- /var/run/docker.sock:/var/run/docker.sock:ro
|
||||
```
|
||||
|
||||
### 3. Запуск
|
||||
Запустите:
|
||||
|
||||
```bash
|
||||
docker compose up -d backup
|
||||
```
|
||||
|
||||
Проверить логи:
|
||||
**По умолчанию:**
|
||||
- Часовой пояс: `Europe/Moscow`
|
||||
- Расписание: каждый день в `05:00`
|
||||
- Хранение: `30` последних версий
|
||||
- Папка в S3: `{project-name}/`
|
||||
|
||||
## Ручной запуск бекапа
|
||||
|
||||
```bash
|
||||
docker compose logs -f backup
|
||||
docker exec project-backup /scripts/backup.sh
|
||||
```
|
||||
|
||||
## 📋 Переменные окружения
|
||||
## Переменные окружения
|
||||
|
||||
Все параметры подробно описаны в `docker-compose.yaml` с примерами использования.
|
||||
### Обязательные
|
||||
|
||||
### Обязательные параметры
|
||||
| Переменная | Описание | Пример |
|
||||
|------------|----------|--------|
|
||||
| `BACKUP_S3_BUCKET` | S3 бакет | `my-backups` |
|
||||
| `BACKUP_S3_ENDPOINT` | S3 эндпоинт | `s3.twcstorage.ru` |
|
||||
| `BACKUP_S3_ACCESS_KEY` | Ключ доступа | `your_key` |
|
||||
| `BACKUP_S3_SECRET_KEY` | Секретный ключ | `your_secret` |
|
||||
|
||||
| Параметр | Описание | Пример |
|
||||
|----------|----------|--------|
|
||||
| `BACKUP_S3_BUCKET` | Имя S3 бакета | `my-backups` |
|
||||
| `BACKUP_S3_ENDPOINT` | Эндпоинт S3 сервиса | `s3.twcstorage.ru` |
|
||||
| `BACKUP_S3_ACCESS_KEY` | Ключ доступа S3 | `your_key` |
|
||||
| `BACKUP_S3_SECRET_KEY` | Секретный ключ S3 | `your_secret` |
|
||||
### Опциональные
|
||||
|
||||
### Необязательные параметры
|
||||
|
||||
| Параметр | Значение по умолчанию | Описание |
|
||||
|----------|----------------------|----------|
|
||||
| `BACKUP_PROJECT_NAME` | `project` | Имя проекта для архивов |
|
||||
| `BACKUP_S3_FOLDER` | ` ` (корень) | Папка внутри бакета |
|
||||
| Переменная | По умолчанию | Описание |
|
||||
|------------|--------------|----------|
|
||||
| `TZ` | `Europe/Moscow` | Часовой пояс |
|
||||
| `BACKUP_PROJECT_NAME` | `project` | Имя проекта |
|
||||
| `BACKUP_SCHEDULE` | `0 5 * * *` | Расписание cron |
|
||||
| `BACKUP_RETENTION_COUNT` | `30` | Количество версий |
|
||||
| `BACKUP_S3_REGION` | `ru-1` | Регион S3 |
|
||||
| `BACKUP_RETENTION_DAYS` | `30` | Дни хранения бэкапов |
|
||||
| `BACKUP_SCHEDULE` | `0 3 * * *` | Расписание cron |
|
||||
| `BACKUP_S3_FOLDER` | `{project}` | Папка в бакете |
|
||||
| `BACKUP_ON_START` | `false` | Бекап при старте |
|
||||
| `BACKUP_STOP_SERVICES` | ` ` | Сервисы для остановки |
|
||||
| `BACKUP_COMPOSE_FILE` | ` ` | Путь к compose-файлу |
|
||||
| `BACKUP_STOP_SERVICES` | - | Сервисы для остановки |
|
||||
|
||||
## 🛠️ Расширенные сценарии
|
||||
|
||||
### Остановка сервисов перед бекапом
|
||||
## Полезные команды
|
||||
|
||||
Для консистентности данных можно останавливать сервисы перед созданием архива:
|
||||
|
||||
```yaml
|
||||
environment:
|
||||
# ... другие параметры ...
|
||||
- BACKUP_STOP_SERVICES=gitea gitea-db
|
||||
- BACKUP_COMPOSE_FILE=/backup-source/docker-compose.yml
|
||||
**Просмотр логов:**
|
||||
```bash
|
||||
docker logs -f project-backup
|
||||
docker exec project-backup tail -f /var/log/backup.log
|
||||
```
|
||||
|
||||
**Важно:**
|
||||
- Сервисы будут остановлены через `docker compose down`
|
||||
- После создания архива сервисы автоматически запустятся через `docker compose up -d`
|
||||
- Если бекап упадет с ошибкой - сервисы все равно запустятся обратно
|
||||
|
||||
### Изменение директории для бекапа
|
||||
|
||||
По умолчанию бекапится текущая директория (`.`). Чтобы изменить:
|
||||
|
||||
```yaml
|
||||
volumes:
|
||||
- /path/to/your/project:/backup-source:ro
|
||||
# ... остальные volumes ...
|
||||
**Проверка S3:**
|
||||
```bash
|
||||
docker exec project-backup aws s3 ls s3://your-bucket --endpoint-url=https://your-endpoint
|
||||
```
|
||||
|
||||
### Примеры расписаний (cron)
|
||||
|
||||
## Расписания cron
|
||||
|
||||
```yaml
|
||||
# Каждый день в 03:00
|
||||
- BACKUP_SCHEDULE=0 3 * * *
|
||||
# Каждый день в 05:00
|
||||
- BACKUP_SCHEDULE=0 5 * * *
|
||||
|
||||
# Каждые 6 часов
|
||||
- BACKUP_SCHEDULE=0 */6 * * *
|
||||
@@ -121,109 +103,23 @@ volumes:
|
||||
|
||||
# Каждые 30 минут
|
||||
- BACKUP_SCHEDULE=*/30 * * * *
|
||||
|
||||
# Дважды в день: 03:00 и 15:00
|
||||
- BACKUP_SCHEDULE=0 3,15 * * *
|
||||
```
|
||||
|
||||
### Тестовый бекап
|
||||
## Остановка сервисов
|
||||
|
||||
Для проверки настроек запустите бекап вручную:
|
||||
|
||||
```bash
|
||||
docker compose exec backup /scripts/backup.sh
|
||||
```
|
||||
|
||||
Или включите бекап при старте:
|
||||
Для консистентности данных можно останавливать сервисы:
|
||||
|
||||
```yaml
|
||||
- BACKUP_ON_START=true
|
||||
environment:
|
||||
- BACKUP_STOP_SERVICES=gitea postgres
|
||||
```
|
||||
|
||||
## 📂 Формат архивов
|
||||
**Важно:** Контейнер `backup` должен быть запущен из **того же** `docker-compose.yaml` что и целевые сервисы. Project name определяется автоматически через Docker labels.
|
||||
|
||||
Архивы создаются в формате:
|
||||
Сервисы автоматически запустятся после создания архива.
|
||||
|
||||
```
|
||||
{BACKUP_PROJECT_NAME}-backup-YYYY-MM-DD_HH-MM-SS.tar.gz
|
||||
```
|
||||
|
||||
Пример: `my-project-backup-2025-10-22_03-00-00.tar.gz`
|
||||
|
||||
## 🔧 Структура проекта
|
||||
|
||||
```
|
||||
.
|
||||
├── backup.sh # Основной скрипт бекапа
|
||||
├── entrypoint.sh # Точка входа контейнера
|
||||
├── crontab # Шаблон cron (генерируется автоматически)
|
||||
├── Dockerfile # Образ контейнера
|
||||
├── docker-compose.yaml # Конфигурация сервиса
|
||||
└── README.md # Документация
|
||||
```
|
||||
|
||||
## 🐛 Решение проблем
|
||||
|
||||
### Проверка логов
|
||||
|
||||
```bash
|
||||
# Все логи
|
||||
docker compose logs backup
|
||||
|
||||
# Логи в реальном времени
|
||||
docker compose logs -f backup
|
||||
|
||||
# Внутренние логи бекапа
|
||||
docker compose exec backup cat /var/log/backup.log
|
||||
```
|
||||
|
||||
### Проверка доступа к S3
|
||||
|
||||
```bash
|
||||
docker compose exec backup aws s3 ls s3://your-bucket --endpoint-url=https://your-endpoint
|
||||
```
|
||||
|
||||
### Ручной запуск бекапа
|
||||
|
||||
```bash
|
||||
docker compose exec backup /scripts/backup.sh
|
||||
```
|
||||
|
||||
## 📊 S3-провайдеры
|
||||
|
||||
### Yandex Cloud Object Storage
|
||||
|
||||
```yaml
|
||||
- BACKUP_S3_ENDPOINT=storage.yandexcloud.net
|
||||
- BACKUP_S3_REGION=ru-central1
|
||||
```
|
||||
|
||||
### Timeweb Cloud S3
|
||||
|
||||
```yaml
|
||||
- BACKUP_S3_ENDPOINT=s3.twcstorage.ru
|
||||
- BACKUP_S3_REGION=ru-1
|
||||
```
|
||||
|
||||
### AWS S3
|
||||
|
||||
```yaml
|
||||
- BACKUP_S3_ENDPOINT=s3.amazonaws.com
|
||||
- BACKUP_S3_REGION=us-east-1
|
||||
```
|
||||
|
||||
### MinIO (self-hosted)
|
||||
|
||||
```yaml
|
||||
- BACKUP_S3_ENDPOINT=minio.your-domain.com
|
||||
- BACKUP_S3_REGION=us-east-1
|
||||
```
|
||||
|
||||
## 📝 Лицензия
|
||||
## Лицензия
|
||||
|
||||
MIT
|
||||
|
||||
## 🤝 Поддержка
|
||||
|
||||
При возникновении проблем создайте issue в репозитории.
|
||||
|
||||
|
||||
183
backup.sh
183
backup.sh
@@ -64,29 +64,52 @@ stop_services() {
|
||||
return 0
|
||||
fi
|
||||
|
||||
# Ищем docker-compose.yml в директории бекапа
|
||||
local compose_file="/backup-source/docker-compose.yml"
|
||||
# Определяем project name из собственных labels контейнера
|
||||
local project_name=$(docker inspect "$HOSTNAME" --format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
|
||||
|
||||
if [ ! -f "$compose_file" ]; then
|
||||
# Пробуем docker-compose.yaml
|
||||
compose_file="/backup-source/docker-compose.yaml"
|
||||
fi
|
||||
|
||||
if [ ! -f "$compose_file" ]; then
|
||||
log_error "Docker Compose файл не найден в /backup-source/"
|
||||
return 1
|
||||
if [ -z "$project_name" ]; then
|
||||
log_warning "Не удалось определить project name автоматически"
|
||||
log_warning "Контейнер backup должен быть запущен из того же docker-compose.yaml что и целевые сервисы"
|
||||
return 0
|
||||
fi
|
||||
|
||||
log "Project name определён автоматически: ${project_name}"
|
||||
log "Остановка сервисов: ${BACKUP_STOP_SERVICES}"
|
||||
log "Используется compose файл: ${compose_file}"
|
||||
|
||||
# Останавливаем указанные сервисы
|
||||
docker compose -f "$compose_file" down $BACKUP_STOP_SERVICES || {
|
||||
log_error "Ошибка при остановке сервисов"
|
||||
return 1
|
||||
}
|
||||
# Запоминаем ID контейнеров для последующего запуска
|
||||
CONTAINERS_TO_RESTART=""
|
||||
|
||||
log "Сервисы успешно остановлены"
|
||||
for service in $BACKUP_STOP_SERVICES; do
|
||||
# Ищем контейнер по service name + project name + статус running
|
||||
local container_id=$(docker ps \
|
||||
--filter "label=com.docker.compose.service=${service}" \
|
||||
--filter "label=com.docker.compose.project=${project_name}" \
|
||||
--filter "status=running" \
|
||||
--format "{{.ID}}" \
|
||||
| head -n1)
|
||||
|
||||
if [ -n "$container_id" ]; then
|
||||
local container_name=$(docker inspect "$container_id" --format '{{.Name}}' | sed 's/^\///')
|
||||
log "Сервис ${service} (контейнер: ${container_name}) запущен, будет остановлен"
|
||||
|
||||
# Останавливаем контейнер
|
||||
docker stop "$container_id" >/dev/null 2>&1 || {
|
||||
log_error "Ошибка при остановке контейнера ${container_name}"
|
||||
return 1
|
||||
}
|
||||
|
||||
# Запоминаем ID для последующего запуска
|
||||
CONTAINERS_TO_RESTART="${CONTAINERS_TO_RESTART} ${container_id}"
|
||||
else
|
||||
log "Сервис ${service} не запущен или не найден, пропускаем"
|
||||
fi
|
||||
done
|
||||
|
||||
if [ -n "$CONTAINERS_TO_RESTART" ]; then
|
||||
log "Контейнеры успешно остановлены"
|
||||
else
|
||||
log "Нет запущенных сервисов для остановки"
|
||||
fi
|
||||
|
||||
# Даем время на корректное завершение
|
||||
sleep 5
|
||||
@@ -100,28 +123,28 @@ start_services() {
|
||||
return 0
|
||||
fi
|
||||
|
||||
# Ищем docker-compose.yml в директории бекапа
|
||||
local compose_file="/backup-source/docker-compose.yml"
|
||||
|
||||
if [ ! -f "$compose_file" ]; then
|
||||
# Пробуем docker-compose.yaml
|
||||
compose_file="/backup-source/docker-compose.yaml"
|
||||
# Проверяем что есть контейнеры для запуска
|
||||
if [ -z "$CONTAINERS_TO_RESTART" ]; then
|
||||
log "Нет контейнеров для запуска"
|
||||
return 0
|
||||
fi
|
||||
|
||||
if [ ! -f "$compose_file" ]; then
|
||||
log_error "Docker Compose файл не найден в /backup-source/"
|
||||
return 1
|
||||
fi
|
||||
log "Запуск контейнеров..."
|
||||
|
||||
log "Запуск сервисов: ${BACKUP_STOP_SERVICES}"
|
||||
# Запускаем только те контейнеры, которые были остановлены
|
||||
for container_id in $CONTAINERS_TO_RESTART; do
|
||||
local container_name=$(docker inspect "$container_id" --format '{{.Name}}' 2>/dev/null | sed 's/^\///')
|
||||
|
||||
if [ -n "$container_name" ]; then
|
||||
log "Запуск контейнера: ${container_name}"
|
||||
docker start "$container_id" >/dev/null 2>&1 || {
|
||||
log_error "Ошибка при запуске контейнера ${container_name}"
|
||||
return 1
|
||||
}
|
||||
fi
|
||||
done
|
||||
|
||||
# Запускаем указанные сервисы в detached режиме
|
||||
docker compose -f "$compose_file" up -d $BACKUP_STOP_SERVICES || {
|
||||
log_error "Ошибка при запуске сервисов"
|
||||
return 1
|
||||
}
|
||||
|
||||
log "Сервисы успешно запущены"
|
||||
log "Контейнеры успешно запущены"
|
||||
|
||||
return 0
|
||||
}
|
||||
@@ -169,17 +192,17 @@ upload_to_s3() {
|
||||
fi
|
||||
|
||||
local backup_filename=$(basename "$backup_path")
|
||||
local project_name="${BACKUP_PROJECT_NAME:-project}"
|
||||
|
||||
# Формируем путь с учетом BACKUP_S3_FOLDER
|
||||
local s3_folder="${BACKUP_S3_FOLDER}"
|
||||
if [ -n "$s3_folder" ]; then
|
||||
# Удаляем начальный и конечный слэш, если есть
|
||||
s3_folder="${s3_folder#/}"
|
||||
s3_folder="${s3_folder%/}"
|
||||
local s3_path="s3://${BACKUP_S3_BUCKET}/${s3_folder}/${backup_filename}"
|
||||
else
|
||||
local s3_path="s3://${BACKUP_S3_BUCKET}/${backup_filename}"
|
||||
fi
|
||||
# По умолчанию используется имя проекта как папка
|
||||
local s3_folder="${BACKUP_S3_FOLDER:-$project_name}"
|
||||
|
||||
# Удаляем начальный и конечный слэш, если есть
|
||||
s3_folder="${s3_folder#/}"
|
||||
s3_folder="${s3_folder%/}"
|
||||
|
||||
local s3_path="s3://${BACKUP_S3_BUCKET}/${s3_folder}/${backup_filename}"
|
||||
|
||||
log "Загрузка бэкапа в S3: ${s3_path}"
|
||||
|
||||
@@ -193,51 +216,55 @@ upload_to_s3() {
|
||||
|
||||
# Удаление старых бэкапов из S3
|
||||
cleanup_old_backups() {
|
||||
local retention_days="${BACKUP_RETENTION_DAYS:-30}"
|
||||
local retention_count="${BACKUP_RETENTION_COUNT:-30}"
|
||||
|
||||
log "Очистка старых бэкапов (старше ${retention_days} дней)..."
|
||||
log "Очистка старых бэкапов (храним последние ${retention_count} версий)..."
|
||||
|
||||
# Вычисляем дату отсечения (совместимо с BusyBox)
|
||||
local retention_seconds=$((retention_days * 86400))
|
||||
local current_timestamp=$(date +%s)
|
||||
local cutoff_timestamp=$((current_timestamp - retention_seconds))
|
||||
local cutoff_date=$(date -d "@${cutoff_timestamp}" '+%Y-%m-%d' 2>/dev/null || date -r "${cutoff_timestamp}" '+%Y-%m-%d' 2>/dev/null || echo "")
|
||||
# Формируем путь с учетом BACKUP_S3_FOLDER
|
||||
# По умолчанию используется имя проекта как папка
|
||||
local project_name="${BACKUP_PROJECT_NAME:-project}"
|
||||
local s3_folder="${BACKUP_S3_FOLDER:-$project_name}"
|
||||
|
||||
if [ -z "$cutoff_date" ]; then
|
||||
log_warning "Не удалось вычислить дату отсечения, пропускаем очистку"
|
||||
# Удаляем начальный и конечный слэш, если есть
|
||||
s3_folder="${s3_folder#/}"
|
||||
s3_folder="${s3_folder%/}"
|
||||
|
||||
local s3_list_path="s3://${BACKUP_S3_BUCKET}/${s3_folder}/"
|
||||
|
||||
# Получаем список всех бэкапов и сортируем по дате (новые первые)
|
||||
local backup_list=$(aws s3 ls "${s3_list_path}" $AWS_ENDPOINT_ARG | grep "\-backup-" | awk '{print $4}' | sort -r)
|
||||
|
||||
if [ -z "$backup_list" ]; then
|
||||
log "Бэкапы не найдены"
|
||||
return 0
|
||||
fi
|
||||
|
||||
log "Удаление бэкапов старше ${cutoff_date}..."
|
||||
local total_backups=$(echo "$backup_list" | wc -l)
|
||||
log "Найдено бэкапов: ${total_backups}"
|
||||
|
||||
# Формируем путь с учетом BACKUP_S3_FOLDER
|
||||
local s3_folder="${BACKUP_S3_FOLDER}"
|
||||
if [ -n "$s3_folder" ]; then
|
||||
s3_folder="${s3_folder#/}"
|
||||
s3_folder="${s3_folder%/}"
|
||||
local s3_list_path="s3://${BACKUP_S3_BUCKET}/${s3_folder}/"
|
||||
else
|
||||
local s3_list_path="s3://${BACKUP_S3_BUCKET}/"
|
||||
# Если бэкапов меньше или равно лимиту, ничего не удаляем
|
||||
if [ "$total_backups" -le "$retention_count" ]; then
|
||||
log "Количество бэкапов в пределах лимита, удаление не требуется"
|
||||
return 0
|
||||
fi
|
||||
|
||||
# Получаем список всех бэкапов
|
||||
aws s3 ls "${s3_list_path}" $AWS_ENDPOINT_ARG | grep "\-backup-" | while read -r line; do
|
||||
# Извлекаем дату из имени файла (*-backup-YYYY-MM-DD_HH-MM-SS.tar.gz)
|
||||
local filename=$(echo "$line" | awk '{print $4}')
|
||||
local file_date=$(echo "$filename" | sed -n 's/.*-backup-\([0-9]\{4\}-[0-9]\{2\}-[0-9]\{2\}\).*/\1/p')
|
||||
# Удаляем старые бэкапы (все после N последних)
|
||||
local deleted_count=0
|
||||
local index=0
|
||||
|
||||
echo "$backup_list" | while read -r filename; do
|
||||
index=$((index + 1))
|
||||
|
||||
if [ -n "$file_date" ] && [ "$file_date" \< "$cutoff_date" ]; then
|
||||
log "Удаление старого бэкапа: ${filename}"
|
||||
if [ -n "$s3_folder" ]; then
|
||||
aws s3 rm "s3://${BACKUP_S3_BUCKET}/${s3_folder}/${filename}" $AWS_ENDPOINT_ARG || {
|
||||
log_warning "Не удалось удалить ${filename}"
|
||||
}
|
||||
else
|
||||
aws s3 rm "s3://${BACKUP_S3_BUCKET}/${filename}" $AWS_ENDPOINT_ARG || {
|
||||
log_warning "Не удалось удалить ${filename}"
|
||||
}
|
||||
fi
|
||||
# Пропускаем первые N (самые новые)
|
||||
if [ "$index" -le "$retention_count" ]; then
|
||||
continue
|
||||
fi
|
||||
|
||||
log "Удаление старого бэкапа: ${filename}"
|
||||
aws s3 rm "s3://${BACKUP_S3_BUCKET}/${s3_folder}/${filename}" $AWS_ENDPOINT_ARG || {
|
||||
log_warning "Не удалось удалить ${filename}"
|
||||
}
|
||||
deleted_count=$((deleted_count + 1))
|
||||
done
|
||||
|
||||
log "Очистка завершена"
|
||||
|
||||
@@ -10,7 +10,7 @@ services:
|
||||
restart: unless-stopped
|
||||
|
||||
environment:
|
||||
- TZ=Europe/Moscow
|
||||
- TZ=${TZ:-Europe/Moscow}
|
||||
|
||||
# Имя проекта (используется в названии архива: {name}-backup-2025-10-22_03-00-00.tar.gz)
|
||||
- BACKUP_PROJECT_NAME=${BACKUP_PROJECT_NAME:-project}
|
||||
@@ -18,7 +18,7 @@ services:
|
||||
# S3 бакет для хранения бэкапов (обязательно)
|
||||
- BACKUP_S3_BUCKET=${BACKUP_S3_BUCKET}
|
||||
|
||||
# Папка внутри бакета (необязательно, по умолчанию - корень)
|
||||
# Папка внутри бакета (необязательно, по умолчанию - имя проекта)
|
||||
- BACKUP_S3_FOLDER=${BACKUP_S3_FOLDER:-}
|
||||
|
||||
# Эндпоинт S3 сервиса (обязательно): s3.twcstorage.ru, storage.yandexcloud.net и т.д.
|
||||
@@ -31,16 +31,17 @@ services:
|
||||
# Регион S3
|
||||
- BACKUP_S3_REGION=${BACKUP_S3_REGION:-ru-1}
|
||||
|
||||
# Количество дней хранения бэкапов (автоматически удаляются старые)
|
||||
- BACKUP_RETENTION_DAYS=${BACKUP_RETENTION_DAYS:-30}
|
||||
# Количество последних версий бэкапов для хранения (автоматически удаляются старые)
|
||||
- BACKUP_RETENTION_COUNT=${BACKUP_RETENTION_COUNT:-30}
|
||||
|
||||
# Расписание запуска в формате cron: "0 3 * * *" = каждый день в 03:00
|
||||
- BACKUP_SCHEDULE=${BACKUP_SCHEDULE:-0 3 * * *}
|
||||
# Расписание запуска в формате cron: "0 5 * * *" = каждый день в 05:00 МСК
|
||||
- BACKUP_SCHEDULE=${BACKUP_SCHEDULE:-0 5 * * *}
|
||||
|
||||
# Запускать ли бэкап сразу при старте контейнера (true/false)
|
||||
- BACKUP_ON_START=${BACKUP_ON_START:-false}
|
||||
|
||||
# Список сервисов для остановки перед бекапом через пробел (необязательно): gitea gitea-db
|
||||
# Список сервисов для остановки перед бекапом через пробел (необязательно): gitea postgres
|
||||
# Контейнер backup должен быть запущен из того же docker-compose.yaml что и целевые сервисы
|
||||
- BACKUP_STOP_SERVICES=${BACKUP_STOP_SERVICES:-}
|
||||
|
||||
volumes:
|
||||
|
||||
@@ -5,11 +5,11 @@ echo "Universal Docker Project Backup Service"
|
||||
echo "================================================"
|
||||
echo "Project: ${BACKUP_PROJECT_NAME:-project}"
|
||||
echo "Source Path: ${BACKUP_SOURCE_PATH:-.} (mounted as /backup-source)"
|
||||
echo "Timezone: ${TZ:-UTC}"
|
||||
echo "Backup Schedule: ${BACKUP_SCHEDULE:-0 3 * * *}"
|
||||
echo "Timezone: ${TZ:-Europe/Moscow}"
|
||||
echo "Backup Schedule: ${BACKUP_SCHEDULE:-0 5 * * *}"
|
||||
echo "S3 Endpoint: ${BACKUP_S3_ENDPOINT:-не указан}"
|
||||
echo "S3 Bucket: ${BACKUP_S3_BUCKET:-не указан}"
|
||||
echo "Retention Days: ${BACKUP_RETENTION_DAYS:-30}"
|
||||
echo "Retention Count: ${BACKUP_RETENTION_COUNT:-30} последних версий"
|
||||
echo "Backup Type: Full project directory"
|
||||
if [ -n "$BACKUP_STOP_SERVICES" ]; then
|
||||
echo "Services to stop: ${BACKUP_STOP_SERVICES}"
|
||||
@@ -25,9 +25,9 @@ if [ -z "$BACKUP_S3_BUCKET" ] || [ -z "$BACKUP_S3_ACCESS_KEY" ] || [ -z "$BACKUP
|
||||
fi
|
||||
|
||||
# Создаем crontab файл с заданным расписанием
|
||||
echo "${BACKUP_SCHEDULE:-0 3 * * *} /scripts/backup.sh >> /var/log/backup.log 2>&1" > /scripts/crontab
|
||||
echo "${BACKUP_SCHEDULE:-0 5 * * *} /scripts/backup.sh >> /var/log/backup.log 2>&1" > /scripts/crontab
|
||||
|
||||
echo "Расписание установлено: ${BACKUP_SCHEDULE:-0 3 * * *}"
|
||||
echo "Расписание установлено: ${BACKUP_SCHEDULE:-0 5 * * *}"
|
||||
echo "Логи сохраняются в: /var/log/backup.log"
|
||||
echo "================================================"
|
||||
|
||||
|
||||
20
env.example
20
env.example
@@ -5,6 +5,9 @@
|
||||
# в S3-совместимое хранилище. Бэкап запускается по расписанию в отдельном Docker контейнере.
|
||||
# ===========================================
|
||||
|
||||
# Часовой пояс (по умолчанию: Europe/Moscow)
|
||||
TZ=Europe/Moscow
|
||||
|
||||
# Путь к директории для бекапа (необязательно, по умолчанию - текущая директория)
|
||||
# Примеры: /var/www/project, /home/user/my-project
|
||||
BACKUP_SOURCE_PATH=
|
||||
@@ -16,7 +19,8 @@ BACKUP_PROJECT_NAME=project
|
||||
# S3 бакет для хранения бэкапов (обязательно)
|
||||
BACKUP_S3_BUCKET=
|
||||
|
||||
# Папка внутри S3 бакета (необязательно, по умолчанию - корень)
|
||||
# Папка внутри S3 бакета (необязательно, по умолчанию - имя проекта из BACKUP_PROJECT_NAME)
|
||||
# Если не указано, бекапы сохраняются в s3://bucket/[BACKUP_PROJECT_NAME]/
|
||||
# Примеры: backups, project/backups, prod/backups
|
||||
BACKUP_S3_FOLDER=
|
||||
|
||||
@@ -31,9 +35,9 @@ BACKUP_S3_SECRET_KEY=
|
||||
# Регион S3 (по умолчанию: ru-1)
|
||||
BACKUP_S3_REGION=ru-1
|
||||
|
||||
# Количество дней хранения старых бэкапов (по умолчанию: 30)
|
||||
# Бэкапы старше указанного количества дней будут автоматически удалены
|
||||
BACKUP_RETENTION_DAYS=30
|
||||
# Количество последних версий бэкапов для хранения (по умолчанию: 30)
|
||||
# Будут сохранены только последние N бэкапов, остальные автоматически удалятся
|
||||
BACKUP_RETENTION_COUNT=30
|
||||
|
||||
# Расписание запуска бэкапа в формате cron (по умолчанию: 0 3 * * * - каждый день в 03:00)
|
||||
# Формат: минута час день месяц день_недели
|
||||
@@ -50,9 +54,9 @@ BACKUP_SCHEDULE=0 5 * * *
|
||||
BACKUP_ON_START=false
|
||||
|
||||
# Список сервисов для остановки перед бекапом (необязательно)
|
||||
# Сервисы будут остановлены через "docker compose down",
|
||||
# а после создания архива запущены через "docker compose up -d"
|
||||
# Укажите названия сервисов через пробел, например: gitea gitea-db
|
||||
# Сервисы будут остановлены через "docker stop",
|
||||
# а после создания архива запущены через "docker start"
|
||||
# Укажите названия сервисов через пробел, например: gitea postgres
|
||||
# Если не указано - сервисы НЕ будут останавливаться
|
||||
# Примечание: автоматически ищется docker-compose.yml в директории бекапа
|
||||
# ВАЖНО: Контейнер backup должен быть запущен из того же docker-compose.yaml что и целевые сервисы
|
||||
BACKUP_STOP_SERVICES=
|
||||
|
||||
Reference in New Issue
Block a user