Форум пользователей MySQL

версия xtrabackup 2.4

И, так прошу помощи.
xtrabackup 2.4
Так же установил: aptitude install qpress
Мне нужно несколько скриптов.
А, именно:
1. Создать полный backup mysql c шифрованием и сжатием
2. Создать инкрементный backup определенной базы данных c шифрованием и сжатием . (не готов)
3. Создать инкрементный backup баз данных c шифрованием и сжатием, тех таблиц, которые изменились
4. Залить backup.
Помогите мне их испарить, чтобы они работали.
1. Создать полный backup mysql

#!/bin/bash

rm -r /root/full/*

LAST_LSN=$( cat /root/full/xtrabackup_checkpoints | grep to_lsn | cut -d'=' -f2)

xtrabackup \
--datadir=/var/lib/mysql \
--user=root \
--password="test" \
--target-dir=/root/full \
--compress \
--compress-threads=2 \
--encrypt=AES256 \
--encrypt-key-file=/root/backups.key \
--extra-lsndir=/root/lsns/ \
--backup


innobackupex \
--user=root \
--password="test" \
--stream=tar ./ | gzip - > /root/backup.tar.gz

3. Создать инкрементный backup баз данных, которые изменились


#!/bin/bash
rm -r /root/incr/*

cd /root/full/
for i in `find . -iname "*\.xbcrypt"`; do xbcrypt -d --encrypt-key-file=/root/backups.key  \
--encrypt-algo=AES256 < $i > $(dirname $i)/$(basename $i .xbcrypt) && rm $i; done

for bf in `find . -iname "*\.qp"`; do qpress -d $bf $(dirname $bf) && rm $bf; done

LAST_LSN=$(cat /root/lsns/xtrabackup_checkpoints | grep to_lsn | cut -d'=' -f2)

xtrabackup \
--backup \
--target-dir=/root/incr \
--incremental-basedir=/root/full/ \
--databases-file=/root/bases.list \
--user=root \
--password="test" \
--extra-lsndir=/root/lsns/ \
--incremental-lsn $LAST_LSN

xtrabackup \
--prepare \
--apply-log-only \
--target-dir=/root/full \
--extra-lsndir=/root/lsns/ \
--incremental-lsn $LAST_LSN

cd /root/full/
for bf in `find . -iname "*\.qp"`; do qpress -d $bf $(dirname $bf) && rm $bf; done

xtrabackup \
--target-dir=/root/incr \
--incremental-basedir=/root/full \
--extra-lsndir=/root/lsns/ \
--incremental-lsn $LAST_LSN \
--prepare
================================
Запуск полного бэкапа ОК.
du -s ./*
13748    ./full
4    ./incr
изменяем значение в таблице в mysql
запуск инкрементного обновления(второй скрипт) ОК.
Вывод на экране:
xtrabackup: error: The transaction log file is corrupted.
xtrabackup: error: The log was not applied to the intended LSN!
xtrabackup: Log applied to lsn 0
xtrabackup: The intended lsn is 3371094422

======================

du -s ./*

21944    ./full
30920    ./incr


как объединить полный backup and incremental backup? при этом чтобы сжатие и шифрование было.

Хорошо, помогите тогда разобраться с innobackupex.

Скрипт полного backup

Да, это видимо, какой-то баг mysql был. Почему-то удалились значения из оригинала. Нужно разобраться в этом. А, так после внесения повторно значений все сохранилось.

Второй раз запускаю innobackupex --defaults-file=/etc/mysql/my.cnf  --copy-back  /root/dumpd потому, что это на всех сайтах описывается и на оф. странице. Что у них не создается файл логов и для этого нужно вот такой костыль делать.

По поводу инкрементального, то я вообще еще не разобрался, как он делается. У меня только полный делается и в конце него я еще раз прогоняю innobackupex вместе с --apply-log --redo-only . Я так понимаю, нужно еще и без --redo-only прогнать один раз?

А, вот по поводу инкрементального, тут вопрос. Допустим мне нужно создать инкрементальное обновление и соединить его с основным, как это делается?
я попробовал сделать по инструкции и вот, что вышло!


#!/bin/bash

#incremental backup
LAST_LSN=$(cat /root/backup/lsns/xtrabackup_checkpoints | grep to_lsn | cut -d'=' -f2)

rm -r /root/backup/inc/*

innobackupex \
--defaults-file=/etc/mysql/my.cnf \
--incremental \
--user=root \
--password=test \
--incremental-lsn $LAST_LSN \
--no-timestamp \
/root/backup/full \
--incremental-basedir=/root/backup/inc


du -sh ./*
=============
Так же пришлось дописать в каждый innobackupex в full backups по одной строчке: --extra-lsndir=/root/backup/lsns/ \

Ошибки после запуска:
++++++++++++++
innobackupex: Can't create/write to file '/root/backup/full/xtrabackup_logfile' (Errcode: 17 - File exists)
xtrabackup: error: failed to open the target stream for 'xtrabackup_logfile'.
++++++++++++++

https://habrahabr.ru/company/centosadmin/blog/229731/
Вырезка:
"
xtrabackup --prepare --target-dir=/var/lib/mysql-xtra/ --datadir=/var/lib/mysql
Команду восстановления данных нужно выполнить дважды, после чего будут созданы лог файлы для MySQL. После этого нужно скопировать лог файл и файл данных в папку MySQL (по умолчанию — /var/lib/mysql)."

Моя ошибка, это относится исключительно к xtrabackup

Так, что в моем случае можно обойтись одной копией.

По поводу, того что перепутал каталоги.

Если сделать вместо:
innobackupex  --incremental --user=root --no-timestamp --password=test /root/backup/inc --incremental-basedir=/root/backup/full
написать
innobackupex  --incremental --user=root --no-timestamp --password=test /root/backup/full --incremental-basedir=/root/backup/inc

то выдаст:
160307 16:21:09 innobackupex: Starting the backup operation

IMPORTANT: Please check that the backup run completes successfully.
           At the end of a successful backup run innobackupex
           prints "completed OK!".

xtrabackup: Error: cannot open /root/backup/inc/xtrabackup_checkpoints
xtrabackup: error: failed to read metadata from /root/backup/inc/xtrabackup_checkpoints

Можете прислать мне рабочий скрипт инкрементного backup?

Не пойму о чем вы говорите. В первом и втором посте один и тот же скрипт (разница только в добавлении строчек --defaults-file=/etc/mysql/my.cnf  и --incremental-lsn $LAST_LSN), так же там есть еще один не рабочий скрипт, а именно innobackupex  --incremental --user=root --no-timestamp --password=test /root/backup/full --incremental-basedir=/root/backup/inc он  выдает ошибку. Так, про какой скрипт вы говорите?

В тех двух постах команды отличаются. Ну, правда. Есть разница между каталогом резервной копии и incremental-basedir. Во втором посте они написаны в проавильном порядке.

Инкрементальными бэкапами и правда никто не пользуется: у них больше недостатков, чем кажется (например, медленное восстановление), но документацию никто не отменял

У меня такое чувство, что Вы просто копируете разные команды с сайтов в надежде, что подойдет

Но ок, не поленился, выполнил. Вот такая последовательность у меня сработала. Боюсь, что подробнее, чем подписать все строки, не получится: