Compare commits

...

10 Commits

Author SHA1 Message Date
4528cd9ccd refactor: Обновлен ридми для GitHub
Some checks failed
Build and Push Docker Image (gitea) / build-and-push (push) Has been cancelled
2025-10-25 08:29:48 +03:00
fd2e00069b Обновлены скрипты резервного копирования для улучшения управления контейнерами
- Автоматическое определение project name из Docker labels
- Остановка и запуск контейнеров с использованием их ID вместо docker-compose
- Обновлены комментарии и документация для ясности использования
- Изменены примеры в env.example и README.md для соответствия новым изменениям
2025-10-23 22:12:18 +03:00
a7011b2dd3 sync 2025-10-23 08:43:53 +03:00
d9d72b1e38 sync 2025-10-23 08:41:19 +03:00
0f80487482 sync 2025-10-23 06:53:19 +03:00
bcd4d66c9f chore: обновить название Gitea workflow и добавить файл конфигурации 2025-10-23 06:50:20 +03:00
220a8f8023 ci: настроить автоматическую сборку Docker образа для Gitea 2025-10-23 06:43:24 +03:00
a863e985f6 Добавлен .gitignore для исключения .env из репозитория 2025-10-22 10:33:44 +03:00
f8e0267b54 Обновлены скрипты и конфигурации для улучшения резервного копирования
- Изменено имя папки в S3 на имя проекта по умолчанию
- Обновлено количество хранимых версий бэкапов вместо дней
- Изменено расписание запуска бэкапов на 05:00
- Обновлены переменные окружения в примерах и документации
- Улучшено логирование и обработка старых бэкапов
2025-10-22 10:24:53 +03:00
c982c4e359 Обновлен README.md для улучшения документации
- Добавлен статус сборки проекта с помощью GitHub Actions
- Включены два варианта быстрого старта: использование готового образа и сборка из исходников
- Добавлен раздел о CI/CD с информацией о автоматической сборке и публикации Docker-образов
- Уточнены инструкции по настройке и запуску сервиса
2025-10-22 09:41:48 +03:00
10 changed files with 510 additions and 272 deletions

134
.gitea/workflows/README.md Normal file
View File

@@ -0,0 +1,134 @@
> [!WARNING]
> **Это зеркало!** Основной репозиторий: [https://gromlab.ru/gromov/gitea-server](https://gromlab.ru/gromov/gitea-server)
>
> GitHub утратил статус надежной площадки для open-source, применяя политические блокировки репозиториев вместо сохранения нейтралитета. Блокировки коснулись разработчиков из России (Донецк, Луганск, Крым, Херсонская обл., Запорожская обл.), Ирана, Сирии, Кубы и Северной Кореи.
>
> - ⚠️ Pull requests и issues создавайте только в основном репозитории
> - 🔄 Зеркало обновляется автоматически
> - 🚫 Изменения здесь будут перезаписаны
# Docker S3 Backup
Автоматическое резервное копирование Docker-проектов в S3-хранилище по расписанию.
## Что делает
- Создаёт полный архив директории проекта
- Загружает в S3-совместимое хранилище (Yandex Cloud, Timeweb, AWS S3, MinIO)
- Работает по расписанию cron (по умолчанию: каждый день в 05:00 МСК)
- Хранит только последние N версий бэкапов (по умолчанию: 30)
- Сохраняет бекапы в папку с именем проекта: `s3://bucket/project-name/`
- Опционально останавливает сервисы перед бекапом
## Быстрый старт
Создайте `docker-compose.yaml`:
```yaml
services:
backup:
image: ghcr.io/gromov-io/docker-s3-backup:latest
container_name: project-backup
restart: unless-stopped
environment:
- BACKUP_PROJECT_NAME=my-project
- BACKUP_S3_BUCKET=my-backups
- BACKUP_S3_ENDPOINT=s3.twcstorage.ru
- BACKUP_S3_ACCESS_KEY=your_key
- BACKUP_S3_SECRET_KEY=your_secret
volumes:
- .:/backup-source:ro
- /var/run/docker.sock:/var/run/docker.sock:ro
```
Запустите:
```bash
docker compose up -d backup
```
**По умолчанию:**
- Часовой пояс: `Europe/Moscow`
- Расписание: каждый день в `05:00`
- Хранение: `30` последних версий
- Папка в S3: `{project-name}/`
## Ручной запуск бекапа
```bash
docker exec project-backup /scripts/backup.sh
```
## Переменные окружения
### Обязательные
| Переменная | Описание | Пример |
|------------|----------|--------|
| `BACKUP_S3_BUCKET` | S3 бакет | `my-backups` |
| `BACKUP_S3_ENDPOINT` | S3 эндпоинт | `s3.twcstorage.ru` |
| `BACKUP_S3_ACCESS_KEY` | Ключ доступа | `your_key` |
| `BACKUP_S3_SECRET_KEY` | Секретный ключ | `your_secret` |
### Опциональные
| Переменная | По умолчанию | Описание |
|------------|--------------|----------|
| `TZ` | `Europe/Moscow` | Часовой пояс |
| `BACKUP_PROJECT_NAME` | `project` | Имя проекта |
| `BACKUP_SCHEDULE` | `0 5 * * *` | Расписание cron |
| `BACKUP_RETENTION_COUNT` | `30` | Количество версий |
| `BACKUP_S3_REGION` | `ru-1` | Регион S3 |
| `BACKUP_S3_FOLDER` | `{project}` | Папка в бакете |
| `BACKUP_ON_START` | `false` | Бекап при старте |
| `BACKUP_STOP_SERVICES` | - | Сервисы для остановки |
## Полезные команды
**Просмотр логов:**
```bash
docker logs -f project-backup
docker exec project-backup tail -f /var/log/backup.log
```
**Проверка S3:**
```bash
docker exec project-backup aws s3 ls s3://your-bucket --endpoint-url=https://your-endpoint
```
## Расписания cron
```yaml
# Каждый день в 05:00
- BACKUP_SCHEDULE=0 5 * * *
# Каждые 6 часов
- BACKUP_SCHEDULE=0 */6 * * *
# Каждое воскресенье в 02:00
- BACKUP_SCHEDULE=0 2 * * 0
# Каждые 30 минут
- BACKUP_SCHEDULE=*/30 * * * *
```
## Остановка сервисов
Для консистентности данных можно останавливать сервисы:
```yaml
environment:
- BACKUP_STOP_SERVICES=gitea postgres
```
**Важно:** Контейнер `backup` должен быть запущен из **того же** `docker-compose.yaml` что и целевые сервисы. Project name определяется автоматически через Docker labels.
Сервисы автоматически запустятся после создания архива.
## Лицензия
MIT

View File

@@ -0,0 +1,70 @@
name: Build and Push Docker Image (gitea)
on:
push:
branches:
- main
- master
tags:
- 'v*'
pull_request:
branches:
- main
- master
env:
REGISTRY: gromlab.ru # Gitea Container Registry (домен без https://)
IMAGE_NAME: ${{ gitea.repository }}
jobs:
build-and-push:
runs-on: ubuntu-latest
permissions:
contents: read
packages: write
steps:
- name: Checkout repository
uses: actions/checkout@v4
- name: Set up QEMU
uses: docker/setup-qemu-action@v3
- name: Set up Docker Buildx
uses: docker/setup-buildx-action@v3
- name: Log in to Container Registry
if: gitea.event_name != 'pull_request'
uses: docker/login-action@v3
with:
registry: ${{ env.REGISTRY }}
username: ${{ secrets.REGISTRY_USERNAME }}
password: ${{ secrets.REGISTRY_PASSWORD }}
- name: Extract metadata
id: meta
uses: docker/metadata-action@v5
with:
images: ${{ env.REGISTRY }}/${{ env.IMAGE_NAME }}
tags: |
type=ref,event=branch
type=ref,event=pr
type=semver,pattern={{version}}
type=semver,pattern={{major}}.{{minor}}
type=semver,pattern={{major}}
type=sha,prefix={{branch}}-
type=raw,value=latest,enable={{is_default_branch}}
- name: Build and push Docker image
uses: docker/build-push-action@v5
with:
context: .
platforms: linux/amd64,linux/arm64
push: ${{ gitea.event_name != 'pull_request' }}
tags: ${{ steps.meta.outputs.tags }}
labels: ${{ steps.meta.outputs.labels }}
cache-from: type=gha
cache-to: type=gha,mode=max
- name: Image digest
run: echo "Image pushed with digest ${{ steps.build-and-push.outputs.digest }}"

72
.github/workflows/docker-build.yml vendored Normal file
View File

@@ -0,0 +1,72 @@
name: Build and Push Docker Image
on:
push:
branches:
- main
- master
tags:
- 'v*'
pull_request:
branches:
- main
- master
workflow_dispatch:
env:
REGISTRY: ghcr.io
IMAGE_NAME: ${{ github.repository }}
jobs:
build-and-push:
runs-on: ubuntu-latest
permissions:
contents: read
packages: write
steps:
- name: Checkout repository
uses: actions/checkout@v4
- name: Set up QEMU
uses: docker/setup-qemu-action@v3
- name: Set up Docker Buildx
uses: docker/setup-buildx-action@v3
- name: Log in to Container Registry
if: github.event_name != 'pull_request'
uses: docker/login-action@v3
with:
registry: ${{ env.REGISTRY }}
username: ${{ github.actor }}
password: ${{ secrets.GITHUB_TOKEN }}
- name: Extract metadata
id: meta
uses: docker/metadata-action@v5
with:
images: ${{ env.REGISTRY }}/${{ env.IMAGE_NAME }}
tags: |
type=ref,event=branch
type=ref,event=pr
type=semver,pattern={{version}}
type=semver,pattern={{major}}.{{minor}}
type=semver,pattern={{major}}
type=sha,prefix={{branch}}-
type=raw,value=latest,enable={{is_default_branch}}
- name: Build and push Docker image
uses: docker/build-push-action@v5
with:
context: .
platforms: linux/amd64,linux/arm64
push: ${{ github.event_name != 'pull_request' }}
tags: ${{ steps.meta.outputs.tags }}
labels: ${{ steps.meta.outputs.labels }}
cache-from: type=gha
cache-to: type=gha,mode=max
- name: Image digest
run: echo "Image pushed with digest ${{ steps.build-and-push.outputs.digest }}"

31
.gitignore vendored Normal file
View File

@@ -0,0 +1,31 @@
# Environment variables
.env
.env.local
.env.*.local
# Docker volumes
data/
volumes/
# Logs
*.log
logs/
# Temporary files
*.tmp
*.swp
*.swo
*~
# IDE
.vscode/
.idea/
*.iml
# OS
.DS_Store
Thumbs.db
# Backup files
*.bak

View File

@@ -36,6 +36,9 @@ RUN chmod +x /scripts/backup.sh /scripts/entrypoint.sh
# Устанавливаем рабочую директорию
WORKDIR /scripts
# Устанавливаем дефолтный часовой пояс
ENV TZ=Europe/Moscow
# Запускаем entrypoint
CMD ["/scripts/entrypoint.sh"]

244
README.md
View File

@@ -1,117 +1,99 @@
# 🗄️ Universal Docker Backup Service
# Docker S3 Backup
Универсальная система автоматического резервного копирования Docker-проектов с загрузкой в S3-совместимое хранилище.
Автоматическое резервное копирование Docker-проектов в S3-хранилище по расписанию.
## ✨ Возможности
## Что делает
- ✅ Автоматическое создание tar.gz архивов по расписанию (cron)
- Загрузка бэкапов в S3-совместимые хранилища (Yandex Cloud, AWS S3, MinIO, Timeweb и т.д.)
- ✅ Опциональная остановка сервисов перед бекапом для консистентности данных
- ✅ Автоматическое удаление старых бэкапов
- ✅ Подробное логирование всех операций
- ✅ Запуск в отдельном Docker-контейнере
- Создаёт полный архив директории проекта
- Загружает в S3-совместимое хранилище (Yandex Cloud, Timeweb, AWS S3, MinIO)
- Работает по расписанию cron (по умолчанию: каждый день в 05:00 МСК)
- Хранит только последние N версий бэкапов (по умолчанию: 30)
- Сохраняет бекапы в папку с именем проекта: `s3://bucket/project-name/`
- Опционально останавливает сервисы перед бекапом
## 🚀 Быстрый старт
## Быстрый старт
### 1. Подготовка
Скопируйте файлы в директорию вашего проекта, который нужно бекапить:
```bash
git clone <this-repo> backup-system
cd your-project
cp -r backup-system/* .
```
### 2. Настройка
Отредактируйте `docker-compose.yaml` и укажите свои значения переменных окружения:
Создайте `docker-compose.yaml`:
```yaml
environment:
# Обязательные параметры
- BACKUP_PROJECT_NAME=my-project
- BACKUP_S3_BUCKET=my-backups
- BACKUP_S3_ENDPOINT=s3.twcstorage.ru
- BACKUP_S3_ACCESS_KEY=your_access_key
- BACKUP_S3_SECRET_KEY=your_secret_key
# Необязательные параметры
- BACKUP_SCHEDULE=0 3 * * * # Каждый день в 03:00
- BACKUP_RETENTION_DAYS=30
services:
backup:
image: ghcr.io/gromov-io/docker-s3-backup:latest
container_name: project-backup
restart: unless-stopped
environment:
- BACKUP_PROJECT_NAME=my-project
- BACKUP_S3_BUCKET=my-backups
- BACKUP_S3_ENDPOINT=s3.twcstorage.ru
- BACKUP_S3_ACCESS_KEY=your_key
- BACKUP_S3_SECRET_KEY=your_secret
volumes:
- .:/backup-source:ro
- /var/run/docker.sock:/var/run/docker.sock:ro
```
### 3. Запуск
Запустите:
```bash
docker compose up -d backup
```
Проверить логи:
**По умолчанию:**
- Часовой пояс: `Europe/Moscow`
- Расписание: каждый день в `05:00`
- Хранение: `30` последних версий
- Папка в S3: `{project-name}/`
## Ручной запуск бекапа
```bash
docker compose logs -f backup
docker exec project-backup /scripts/backup.sh
```
## 📋 Переменные окружения
## Переменные окружения
Все параметры подробно описаны в `docker-compose.yaml` с примерами использования.
### Обязательные
### Обязательные параметры
| Переменная | Описание | Пример |
|------------|----------|--------|
| `BACKUP_S3_BUCKET` | S3 бакет | `my-backups` |
| `BACKUP_S3_ENDPOINT` | S3 эндпоинт | `s3.twcstorage.ru` |
| `BACKUP_S3_ACCESS_KEY` | Ключ доступа | `your_key` |
| `BACKUP_S3_SECRET_KEY` | Секретный ключ | `your_secret` |
| Параметр | Описание | Пример |
|----------|----------|--------|
| `BACKUP_S3_BUCKET` | Имя S3 бакета | `my-backups` |
| `BACKUP_S3_ENDPOINT` | Эндпоинт S3 сервиса | `s3.twcstorage.ru` |
| `BACKUP_S3_ACCESS_KEY` | Ключ доступа S3 | `your_key` |
| `BACKUP_S3_SECRET_KEY` | Секретный ключ S3 | `your_secret` |
### Опциональные
### Необязательные параметры
| Параметр | Значение по умолчанию | Описание |
|----------|----------------------|----------|
| `BACKUP_PROJECT_NAME` | `project` | Имя проекта для архивов |
| `BACKUP_S3_FOLDER` | ` ` (корень) | Папка внутри бакета |
| Переменная | По умолчанию | Описание |
|------------|--------------|----------|
| `TZ` | `Europe/Moscow` | Часовой пояс |
| `BACKUP_PROJECT_NAME` | `project` | Имя проекта |
| `BACKUP_SCHEDULE` | `0 5 * * *` | Расписание cron |
| `BACKUP_RETENTION_COUNT` | `30` | Количество версий |
| `BACKUP_S3_REGION` | `ru-1` | Регион S3 |
| `BACKUP_RETENTION_DAYS` | `30` | Дни хранения бэкапов |
| `BACKUP_SCHEDULE` | `0 3 * * *` | Расписание cron |
| `BACKUP_S3_FOLDER` | `{project}` | Папка в бакете |
| `BACKUP_ON_START` | `false` | Бекап при старте |
| `BACKUP_STOP_SERVICES` | ` ` | Сервисы для остановки |
| `BACKUP_COMPOSE_FILE` | ` ` | Путь к compose-файлу |
| `BACKUP_STOP_SERVICES` | - | Сервисы для остановки |
## 🛠️ Расширенные сценарии
### Остановка сервисов перед бекапом
## Полезные команды
Для консистентности данных можно останавливать сервисы перед созданием архива:
```yaml
environment:
# ... другие параметры ...
- BACKUP_STOP_SERVICES=gitea gitea-db
- BACKUP_COMPOSE_FILE=/backup-source/docker-compose.yml
**Просмотр логов:**
```bash
docker logs -f project-backup
docker exec project-backup tail -f /var/log/backup.log
```
**Важно:**
- Сервисы будут остановлены через `docker compose down`
- После создания архива сервисы автоматически запустятся через `docker compose up -d`
- Если бекап упадет с ошибкой - сервисы все равно запустятся обратно
### Изменение директории для бекапа
По умолчанию бекапится текущая директория (`.`). Чтобы изменить:
```yaml
volumes:
- /path/to/your/project:/backup-source:ro
# ... остальные volumes ...
**Проверка S3:**
```bash
docker exec project-backup aws s3 ls s3://your-bucket --endpoint-url=https://your-endpoint
```
### Примеры расписаний (cron)
## Расписания cron
```yaml
# Каждый день в 03:00
- BACKUP_SCHEDULE=0 3 * * *
# Каждый день в 05:00
- BACKUP_SCHEDULE=0 5 * * *
# Каждые 6 часов
- BACKUP_SCHEDULE=0 */6 * * *
@@ -121,109 +103,23 @@ volumes:
# Каждые 30 минут
- BACKUP_SCHEDULE=*/30 * * * *
# Дважды в день: 03:00 и 15:00
- BACKUP_SCHEDULE=0 3,15 * * *
```
### Тестовый бекап
## Остановка сервисов
Для проверки настроек запустите бекап вручную:
```bash
docker compose exec backup /scripts/backup.sh
```
Или включите бекап при старте:
Для консистентности данных можно останавливать сервисы:
```yaml
- BACKUP_ON_START=true
environment:
- BACKUP_STOP_SERVICES=gitea postgres
```
## 📂 Формат архивов
**Важно:** Контейнер `backup` должен быть запущен из **того же** `docker-compose.yaml` что и целевые сервисы. Project name определяется автоматически через Docker labels.
Архивы создаются в формате:
Сервисы автоматически запустятся после создания архива.
```
{BACKUP_PROJECT_NAME}-backup-YYYY-MM-DD_HH-MM-SS.tar.gz
```
Пример: `my-project-backup-2025-10-22_03-00-00.tar.gz`
## 🔧 Структура проекта
```
.
├── backup.sh # Основной скрипт бекапа
├── entrypoint.sh # Точка входа контейнера
├── crontab # Шаблон cron (генерируется автоматически)
├── Dockerfile # Образ контейнера
├── docker-compose.yaml # Конфигурация сервиса
└── README.md # Документация
```
## 🐛 Решение проблем
### Проверка логов
```bash
# Все логи
docker compose logs backup
# Логи в реальном времени
docker compose logs -f backup
# Внутренние логи бекапа
docker compose exec backup cat /var/log/backup.log
```
### Проверка доступа к S3
```bash
docker compose exec backup aws s3 ls s3://your-bucket --endpoint-url=https://your-endpoint
```
### Ручной запуск бекапа
```bash
docker compose exec backup /scripts/backup.sh
```
## 📊 S3-провайдеры
### Yandex Cloud Object Storage
```yaml
- BACKUP_S3_ENDPOINT=storage.yandexcloud.net
- BACKUP_S3_REGION=ru-central1
```
### Timeweb Cloud S3
```yaml
- BACKUP_S3_ENDPOINT=s3.twcstorage.ru
- BACKUP_S3_REGION=ru-1
```
### AWS S3
```yaml
- BACKUP_S3_ENDPOINT=s3.amazonaws.com
- BACKUP_S3_REGION=us-east-1
```
### MinIO (self-hosted)
```yaml
- BACKUP_S3_ENDPOINT=minio.your-domain.com
- BACKUP_S3_REGION=us-east-1
```
## 📝 Лицензия
## Лицензия
MIT
## 🤝 Поддержка
При возникновении проблем создайте issue в репозитории.

183
backup.sh
View File

@@ -64,29 +64,52 @@ stop_services() {
return 0
fi
# Ищем docker-compose.yml в директории бекапа
local compose_file="/backup-source/docker-compose.yml"
# Определяем project name из собственных labels контейнера
local project_name=$(docker inspect "$HOSTNAME" --format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
if [ ! -f "$compose_file" ]; then
# Пробуем docker-compose.yaml
compose_file="/backup-source/docker-compose.yaml"
fi
if [ ! -f "$compose_file" ]; then
log_error "Docker Compose файл не найден в /backup-source/"
return 1
if [ -z "$project_name" ]; then
log_warning "Не удалось определить project name автоматически"
log_warning "Контейнер backup должен быть запущен из того же docker-compose.yaml что и целевые сервисы"
return 0
fi
log "Project name определён автоматически: ${project_name}"
log "Остановка сервисов: ${BACKUP_STOP_SERVICES}"
log "Используется compose файл: ${compose_file}"
# Останавливаем указанные сервисы
docker compose -f "$compose_file" down $BACKUP_STOP_SERVICES || {
log_error "Ошибка при остановке сервисов"
return 1
}
# Запоминаем ID контейнеров для последующего запуска
CONTAINERS_TO_RESTART=""
log "Сервисы успешно остановлены"
for service in $BACKUP_STOP_SERVICES; do
# Ищем контейнер по service name + project name + статус running
local container_id=$(docker ps \
--filter "label=com.docker.compose.service=${service}" \
--filter "label=com.docker.compose.project=${project_name}" \
--filter "status=running" \
--format "{{.ID}}" \
| head -n1)
if [ -n "$container_id" ]; then
local container_name=$(docker inspect "$container_id" --format '{{.Name}}' | sed 's/^\///')
log "Сервис ${service} (контейнер: ${container_name}) запущен, будет остановлен"
# Останавливаем контейнер
docker stop "$container_id" >/dev/null 2>&1 || {
log_error "Ошибка при остановке контейнера ${container_name}"
return 1
}
# Запоминаем ID для последующего запуска
CONTAINERS_TO_RESTART="${CONTAINERS_TO_RESTART} ${container_id}"
else
log "Сервис ${service} не запущен или не найден, пропускаем"
fi
done
if [ -n "$CONTAINERS_TO_RESTART" ]; then
log "Контейнеры успешно остановлены"
else
log "Нет запущенных сервисов для остановки"
fi
# Даем время на корректное завершение
sleep 5
@@ -100,28 +123,28 @@ start_services() {
return 0
fi
# Ищем docker-compose.yml в директории бекапа
local compose_file="/backup-source/docker-compose.yml"
if [ ! -f "$compose_file" ]; then
# Пробуем docker-compose.yaml
compose_file="/backup-source/docker-compose.yaml"
# Проверяем что есть контейнеры для запуска
if [ -z "$CONTAINERS_TO_RESTART" ]; then
log "Нет контейнеров для запуска"
return 0
fi
if [ ! -f "$compose_file" ]; then
log_error "Docker Compose файл не найден в /backup-source/"
return 1
fi
log "Запуск контейнеров..."
log "Запуск сервисов: ${BACKUP_STOP_SERVICES}"
# Запускаем только те контейнеры, которые были остановлены
for container_id in $CONTAINERS_TO_RESTART; do
local container_name=$(docker inspect "$container_id" --format '{{.Name}}' 2>/dev/null | sed 's/^\///')
if [ -n "$container_name" ]; then
log "Запуск контейнера: ${container_name}"
docker start "$container_id" >/dev/null 2>&1 || {
log_error "Ошибка при запуске контейнера ${container_name}"
return 1
}
fi
done
# Запускаем указанные сервисы в detached режиме
docker compose -f "$compose_file" up -d $BACKUP_STOP_SERVICES || {
log_error "Ошибка при запуске сервисов"
return 1
}
log "Сервисы успешно запущены"
log "Контейнеры успешно запущены"
return 0
}
@@ -169,17 +192,17 @@ upload_to_s3() {
fi
local backup_filename=$(basename "$backup_path")
local project_name="${BACKUP_PROJECT_NAME:-project}"
# Формируем путь с учетом BACKUP_S3_FOLDER
local s3_folder="${BACKUP_S3_FOLDER}"
if [ -n "$s3_folder" ]; then
# Удаляем начальный и конечный слэш, если есть
s3_folder="${s3_folder#/}"
s3_folder="${s3_folder%/}"
local s3_path="s3://${BACKUP_S3_BUCKET}/${s3_folder}/${backup_filename}"
else
local s3_path="s3://${BACKUP_S3_BUCKET}/${backup_filename}"
fi
# По умолчанию используется имя проекта как папка
local s3_folder="${BACKUP_S3_FOLDER:-$project_name}"
# Удаляем начальный и конечный слэш, если есть
s3_folder="${s3_folder#/}"
s3_folder="${s3_folder%/}"
local s3_path="s3://${BACKUP_S3_BUCKET}/${s3_folder}/${backup_filename}"
log "Загрузка бэкапа в S3: ${s3_path}"
@@ -193,51 +216,55 @@ upload_to_s3() {
# Удаление старых бэкапов из S3
cleanup_old_backups() {
local retention_days="${BACKUP_RETENTION_DAYS:-30}"
local retention_count="${BACKUP_RETENTION_COUNT:-30}"
log "Очистка старых бэкапов (старше ${retention_days} дней)..."
log "Очистка старых бэкапов (храним последние ${retention_count} версий)..."
# Вычисляем дату отсечения (совместимо с BusyBox)
local retention_seconds=$((retention_days * 86400))
local current_timestamp=$(date +%s)
local cutoff_timestamp=$((current_timestamp - retention_seconds))
local cutoff_date=$(date -d "@${cutoff_timestamp}" '+%Y-%m-%d' 2>/dev/null || date -r "${cutoff_timestamp}" '+%Y-%m-%d' 2>/dev/null || echo "")
# Формируем путь с учетом BACKUP_S3_FOLDER
# По умолчанию используется имя проекта как папка
local project_name="${BACKUP_PROJECT_NAME:-project}"
local s3_folder="${BACKUP_S3_FOLDER:-$project_name}"
if [ -z "$cutoff_date" ]; then
log_warning "Не удалось вычислить дату отсечения, пропускаем очистку"
# Удаляем начальный и конечный слэш, если есть
s3_folder="${s3_folder#/}"
s3_folder="${s3_folder%/}"
local s3_list_path="s3://${BACKUP_S3_BUCKET}/${s3_folder}/"
# Получаем список всех бэкапов и сортируем по дате (новые первые)
local backup_list=$(aws s3 ls "${s3_list_path}" $AWS_ENDPOINT_ARG | grep "\-backup-" | awk '{print $4}' | sort -r)
if [ -z "$backup_list" ]; then
log "Бэкапы не найдены"
return 0
fi
log "Удаление бэкапов старше ${cutoff_date}..."
local total_backups=$(echo "$backup_list" | wc -l)
log "Найдено бэкапов: ${total_backups}"
# Формируем путь с учетом BACKUP_S3_FOLDER
local s3_folder="${BACKUP_S3_FOLDER}"
if [ -n "$s3_folder" ]; then
s3_folder="${s3_folder#/}"
s3_folder="${s3_folder%/}"
local s3_list_path="s3://${BACKUP_S3_BUCKET}/${s3_folder}/"
else
local s3_list_path="s3://${BACKUP_S3_BUCKET}/"
# Если бэкапов меньше или равно лимиту, ничего не удаляем
if [ "$total_backups" -le "$retention_count" ]; then
log "Количество бэкапов в пределах лимита, удаление не требуется"
return 0
fi
# Получаем список всех бэкапов
aws s3 ls "${s3_list_path}" $AWS_ENDPOINT_ARG | grep "\-backup-" | while read -r line; do
# Извлекаем дату из имени файла (*-backup-YYYY-MM-DD_HH-MM-SS.tar.gz)
local filename=$(echo "$line" | awk '{print $4}')
local file_date=$(echo "$filename" | sed -n 's/.*-backup-\([0-9]\{4\}-[0-9]\{2\}-[0-9]\{2\}\).*/\1/p')
# Удаляем старые бэкапы (все после N последних)
local deleted_count=0
local index=0
echo "$backup_list" | while read -r filename; do
index=$((index + 1))
if [ -n "$file_date" ] && [ "$file_date" \< "$cutoff_date" ]; then
log "Удаление старого бэкапа: ${filename}"
if [ -n "$s3_folder" ]; then
aws s3 rm "s3://${BACKUP_S3_BUCKET}/${s3_folder}/${filename}" $AWS_ENDPOINT_ARG || {
log_warning "Не удалось удалить ${filename}"
}
else
aws s3 rm "s3://${BACKUP_S3_BUCKET}/${filename}" $AWS_ENDPOINT_ARG || {
log_warning "Не удалось удалить ${filename}"
}
fi
# Пропускаем первые N (самые новые)
if [ "$index" -le "$retention_count" ]; then
continue
fi
log "Удаление старого бэкапа: ${filename}"
aws s3 rm "s3://${BACKUP_S3_BUCKET}/${s3_folder}/${filename}" $AWS_ENDPOINT_ARG || {
log_warning "Не удалось удалить ${filename}"
}
deleted_count=$((deleted_count + 1))
done
log "Очистка завершена"

View File

@@ -10,7 +10,7 @@ services:
restart: unless-stopped
environment:
- TZ=Europe/Moscow
- TZ=${TZ:-Europe/Moscow}
# Имя проекта (используется в названии архива: {name}-backup-2025-10-22_03-00-00.tar.gz)
- BACKUP_PROJECT_NAME=${BACKUP_PROJECT_NAME:-project}
@@ -18,7 +18,7 @@ services:
# S3 бакет для хранения бэкапов (обязательно)
- BACKUP_S3_BUCKET=${BACKUP_S3_BUCKET}
# Папка внутри бакета (необязательно, по умолчанию - корень)
# Папка внутри бакета (необязательно, по умолчанию - имя проекта)
- BACKUP_S3_FOLDER=${BACKUP_S3_FOLDER:-}
# Эндпоинт S3 сервиса (обязательно): s3.twcstorage.ru, storage.yandexcloud.net и т.д.
@@ -31,16 +31,17 @@ services:
# Регион S3
- BACKUP_S3_REGION=${BACKUP_S3_REGION:-ru-1}
# Количество дней хранения бэкапов (автоматически удаляются старые)
- BACKUP_RETENTION_DAYS=${BACKUP_RETENTION_DAYS:-30}
# Количество последних версий бэкапов для хранения (автоматически удаляются старые)
- BACKUP_RETENTION_COUNT=${BACKUP_RETENTION_COUNT:-30}
# Расписание запуска в формате cron: "0 3 * * *" = каждый день в 03:00
- BACKUP_SCHEDULE=${BACKUP_SCHEDULE:-0 3 * * *}
# Расписание запуска в формате cron: "0 5 * * *" = каждый день в 05:00 МСК
- BACKUP_SCHEDULE=${BACKUP_SCHEDULE:-0 5 * * *}
# Запускать ли бэкап сразу при старте контейнера (true/false)
- BACKUP_ON_START=${BACKUP_ON_START:-false}
# Список сервисов для остановки перед бекапом через пробел (необязательно): gitea gitea-db
# Список сервисов для остановки перед бекапом через пробел (необязательно): gitea postgres
# Контейнер backup должен быть запущен из того же docker-compose.yaml что и целевые сервисы
- BACKUP_STOP_SERVICES=${BACKUP_STOP_SERVICES:-}
volumes:

View File

@@ -5,11 +5,11 @@ echo "Universal Docker Project Backup Service"
echo "================================================"
echo "Project: ${BACKUP_PROJECT_NAME:-project}"
echo "Source Path: ${BACKUP_SOURCE_PATH:-.} (mounted as /backup-source)"
echo "Timezone: ${TZ:-UTC}"
echo "Backup Schedule: ${BACKUP_SCHEDULE:-0 3 * * *}"
echo "Timezone: ${TZ:-Europe/Moscow}"
echo "Backup Schedule: ${BACKUP_SCHEDULE:-0 5 * * *}"
echo "S3 Endpoint: ${BACKUP_S3_ENDPOINT:-не указан}"
echo "S3 Bucket: ${BACKUP_S3_BUCKET:-не указан}"
echo "Retention Days: ${BACKUP_RETENTION_DAYS:-30}"
echo "Retention Count: ${BACKUP_RETENTION_COUNT:-30} последних версий"
echo "Backup Type: Full project directory"
if [ -n "$BACKUP_STOP_SERVICES" ]; then
echo "Services to stop: ${BACKUP_STOP_SERVICES}"
@@ -25,9 +25,9 @@ if [ -z "$BACKUP_S3_BUCKET" ] || [ -z "$BACKUP_S3_ACCESS_KEY" ] || [ -z "$BACKUP
fi
# Создаем crontab файл с заданным расписанием
echo "${BACKUP_SCHEDULE:-0 3 * * *} /scripts/backup.sh >> /var/log/backup.log 2>&1" > /scripts/crontab
echo "${BACKUP_SCHEDULE:-0 5 * * *} /scripts/backup.sh >> /var/log/backup.log 2>&1" > /scripts/crontab
echo "Расписание установлено: ${BACKUP_SCHEDULE:-0 3 * * *}"
echo "Расписание установлено: ${BACKUP_SCHEDULE:-0 5 * * *}"
echo "Логи сохраняются в: /var/log/backup.log"
echo "================================================"

View File

@@ -5,6 +5,9 @@
# в S3-совместимое хранилище. Бэкап запускается по расписанию в отдельном Docker контейнере.
# ===========================================
# Часовой пояс (по умолчанию: Europe/Moscow)
TZ=Europe/Moscow
# Путь к директории для бекапа (необязательно, по умолчанию - текущая директория)
# Примеры: /var/www/project, /home/user/my-project
BACKUP_SOURCE_PATH=
@@ -16,7 +19,8 @@ BACKUP_PROJECT_NAME=project
# S3 бакет для хранения бэкапов (обязательно)
BACKUP_S3_BUCKET=
# Папка внутри S3 бакета (необязательно, по умолчанию - корень)
# Папка внутри S3 бакета (необязательно, по умолчанию - имя проекта из BACKUP_PROJECT_NAME)
# Если не указано, бекапы сохраняются в s3://bucket/[BACKUP_PROJECT_NAME]/
# Примеры: backups, project/backups, prod/backups
BACKUP_S3_FOLDER=
@@ -31,9 +35,9 @@ BACKUP_S3_SECRET_KEY=
# Регион S3 (по умолчанию: ru-1)
BACKUP_S3_REGION=ru-1
# Количество дней хранения старых бэкапов (по умолчанию: 30)
# Бэкапы старше указанного количества дней будут автоматически удалены
BACKUP_RETENTION_DAYS=30
# Количество последних версий бэкапов для хранения (по умолчанию: 30)
# Будут сохранены только последние N бэкапов, остальные автоматически удалятся
BACKUP_RETENTION_COUNT=30
# Расписание запуска бэкапа в формате cron (по умолчанию: 0 3 * * * - каждый день в 03:00)
# Формат: минута час день месяц день_недели
@@ -50,9 +54,9 @@ BACKUP_SCHEDULE=0 5 * * *
BACKUP_ON_START=false
# Список сервисов для остановки перед бекапом (необязательно)
# Сервисы будут остановлены через "docker compose down",
# а после создания архива запущены через "docker compose up -d"
# Укажите названия сервисов через пробел, например: gitea gitea-db
# Сервисы будут остановлены через "docker stop",
# а после создания архива запущены через "docker start"
# Укажите названия сервисов через пробел, например: gitea postgres
# Если не указано - сервисы НЕ будут останавливаться
# Примечание: автоматически ищется docker-compose.yml в директории бекапа
# ВАЖНО: Контейнер backup должен быть запущен из того же docker-compose.yaml что и целевые сервисы
BACKUP_STOP_SERVICES=