Миграция Zabbix с MySQL на PostgreSQL [IT Buben]

Эта страница только для чтения. Вы можете посмотреть её исходный текст, но не можете его изменить. Сообщите администратору, если считаете, что это неправильно.
===== Миграция Zabbix с MySQL на PostgreSQL =====

Предыстория:

Zabbix сервер начал что-то периодически нагружать процессор под 30-40%. Вывод **htop** на сервере показал, что виновник MySQL. Он давал периодами нагрузку под 100%. Было решено перейти на PostgreSQL, ну и заодно пощупать TimescaleDB. 

<note>
Сервер у нас трудится под **Ubuntu Server 24.04**, **Zabbix 7.0.8**.
</note>

Приступим.

==== Установка PostgreSQL ====

Сначала подключаем репозиторий PostgreSQL

<code>
sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'
</code>

Далее добавляем ключ

<code>
wget --quiet -O - https://wwww.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -
</code>

Если получаем сообщение

<code>
Warning: apt-key is deprecated. Manage keyring files in trusted.gpg.d instead (see apt-key(8)).
</code>

То должно помочь

<code>
apt-key export ACCC4CF8 | sudo gpg --dearmour -o /etc/apt/trusted.gpg.d/postgresql.gpg
</code>

Мне не помогло:) Выкрутился так:

<code>
sudo wget http://apt.postgresql.org/pub/repos/apt/ACCC4CF8.asc
</code>

А затем:

<code>
sudo apt-key add ACCC4CF8.asc
</code>

Ну и ставим сам PostgreSQL

<code>
sudo apt -y install postgresql
</code>

Далее ставим утилиту **pgloader** для миграции данных. Собирать будем её из исходников.

Ставим зависимости:

<code>
sudo apt install sbcl unzip libsqlite3-dev gawk curl make freetds-dev libzip-dev
</code>

Качаем актуальную версию. На текущий момент **3.6.9**

<code>
wget https://github.com/dimitri/pgloader/archive/refs/tags/v3.6.9.tar.gz
</code>

Распаковываем

<code>
tar xvf v3.6.9.tar.gz
</code>

Переходим в распакованный каталог

<code>
cd pgloader-3.6.9
</code>

И спобираем

<code>
make pgloader
</code>

Ну и для приличия перемещаем

<code>
sudo mv ./build/bin/pgloader /usr/local/bin/
</code>

==== Подготовка к миграции ====

Создаем временный каталог для исходников нашей версии Zabbix

<code>
mkdir /tmp/zabbix-db-migration/ && cd $_
</code>

Скачиваем архив с нашей версией Zabbix с официального сайта

<code>
wget https://cdn.zabbix.com/zabbix/sources/stable/7.0/zabbix-7.0.8.tar.gz
</code>

Распаковываем

<code>
tar -zxvf zabbix-7.0.8.tar.gz
</code>

Переходим в распакованный каталог, где у нас лежит схема для PostgreSQL

<code>
cd /tmp/zabbix-db-migration/zabbix-7.0.8/database/postgresql/
</code>

Выбираем из схемы только операции создания таблиц и триггеров и сохраняем их в отдельный файл в корне папки для миграции

<code>
grep -v 'ALTER TABLE ONLY' schema.sql | grep -v INSERT | grep -v 'CREATE INDEX' | grep -v 'CREATE UNIQUE INDEX' > /tmp/zabbix-db-migration/create_tables.sql
</code>

Удаляем из него строки, отвечающие за создания триггеров

<code>
sed -i '/create\ or\ replace\ function/,$d' /tmp/zabbix-db-migration/create_tables.sql
</code>

Из оригинального файла схемы забираем относящееся к триггерам

<code>
awk '/INSERT INTO dbversion/{p=1;next} /ALTER TABLE/{p=0} p' schema.sql > /tmp/zabbix-db-migration/triggers.sql
</code>

Теперь все относящееся к индексам

<code>
grep -E 'CREATE INDEX|CREATE UNIQUE INDEX' schema.sql > /tmp/zabbix-db-migration/create_index.sql
</code>

И еще ALTER

<code>
grep 'ALTER TABLE ONLY' schema.sql > /tmp/zabbix-db-migration/alter_table.sql
</code>

==== Настраиваем PostgreSQL ====

Создаем пользователя базы Zabbix. Я создавал с таким же именем и паролем, как в MySQL.

<code>
sudo -u postgres createuser --pwprompt zabbixrd
</code>

Далее создаем базу. Тоже с названием не заморачивался и брал такое же, как в MySQL.

<code>
sudo -u postgres createdb -O zabbixrd zabbixrddb
</code>

Применяем схему

<code>
sudo -u postgres psql --host=127.0.0.1 --dbname=zabbixrddb --username=zabbixrd -f /tmp/zabbix-db-migration/create_tables.sql
</code>

Для работы с **pgloader** временно ставим шифрование md5

<code>
sudo -u postgres psql -c "SET password_encryption='md5';"
</code>

Задаем пароль пользователя введенный выше

<code>
sudo -u postgres psql -c "ALTER ROLE zabbixrd WITH PASSWORD 'password';"
</code>

==== Настраиваем MySQL ====

Для начала поправим файл **/etc/mysql/mysql.comf.d/mysqld.cnf**. Добавим в него:

<code>
[mysqld]
...
default-authentication-plugin=mysql_native_password
</code>

Перезапускаем службу MySQL

<code>
systemctl restart mysql
</code>

Меняем метод входа пользователя Zabbix. Не забываем поставить правильный пароль.

<code>
mysql -e "ALTER USER 'zabbixrd'@'localhost' IDENTIFIED WITH mysql_native_password BY 'password';"
</code>

Далее создаем файл **/tmp/zabbix-db-migration/pgloader.conf** с таким содержанием

<code>
LOAD DATABASE
FROM mysql://zabbixrd:password@127.0.0.1/zabbixrddb
INTO postgresql://zabbixrd:password@127.0.0.1/zabbixrddb
WITH include no drop,
truncate,
create no tables,
create no indexes,
no foreign keys,
reset sequences,
data only,
prefetch rows = 1000,
batch rows = 1000,
batch concurrency = 1
ALTER SCHEMA 'zabbixrddb' RENAME TO 'public';
</code>

==== Миграция ====

Останавливаем Zabbix и Apache:

<code>
sudo systemctl stop zabbix-server apache2
</code>

Создаем каталог для данных из MySQL

<code>
mkdir /tmp/zabbix-db-migration/data
</code>

Далее запускаем pgloader с конфигурацией, которую создавали выше:

<code>
pgloader --root-dir=/tmp/zabbix-db-migration/data /tmp/zabbix-db-migration/pgloader.conf
</code>

Все предупреждающие сообщения игнорируем. Миграция займет некоторое время, в зависимости от размера и т.п.

После завершения, возвращаем шифрование.

<code>
sudo -u postgres psql -c "SET password_encryption='SCRAM-SHA-256';"
</code>

Снова задаем пользователя

<code>
sudo -u postgres psql -c "ALTER ROLE zabbixrd WITH PASSWORD 'password';"
</code>

Создаем схемы:

<code>
sudo -u postgres psql --host=127.0.0.1 --dbname=zabbixrddb --username=zabbixrd -f /tmp/zabbix-db-migration/create_index.sql

sudo -u postgres psql --host=127.0.0.1 --dbname=zabbixrddb --username=zabbixrd -f /tmp/zabbix-db-migration/alter_table.sql

sudo -u postgres psql --host=127.0.0.1 --dbname=zabbixrddb --username=zabbixrd -f /tmp/zabbix-db-migration/triggers.sql
</code>

Ну и рекомендуется сделать VACUUM

<code>
sudo -u postgres vacuumdb --dbname=zabbixrddb --analyze --username=postgres --jobs=$(grep -c processor /proc/cpuinfo)
</code>

==== Тестирование ====

Удаляем поддержку mysql

<code>
sudo apt remove zabbix-server-mysql
</code>

На всякий случай сохраняем конфиг **zabbix_server.conf** .

Ставим необходимые пакеты

<code>
sudo apt install zabbix-server-pgsql php8.3-pgsql zabbix-apache-conf
</code>

Удаляем конфиг mysql для Zabbix

<code>
sudo rm /etc/zabbix/web/zabbix.conf.php
</code>

Стартуем Zabbix и Apache

<code>
sudo systemctl start zabbix-server apache2
</code>

Подключаемся к нашему Zabbix через браузер и выполняем его настройку на СУБД PostgreSQL. После этого все должно заработать.

Удаляем MysQL и все, что с ним связано.

<code>
service mysql stop

sudo apt purge mysql-server mysql-common mysql-server-core-* mysql-client-core-*

sudo rm -Rf /var/lib/mysql/

sudo rm -Rf /etc/mysql/

sudo rm -Rf /var/log/mysql/

sudo deluser --remove-home mysql
</code>

==== Установка TimescaleDB ====

А теперь еще одна плюшка. Ставим TimescaleDB для улучшения работы с Zabbix.

Подключаем репозиторий

<code>
echo "deb https://packagecloud.io/timescale/timescaledb/ubuntu/ $(lsb_release -c -s) main" | sudo tee /etc/apt/sources.list.d/timescaledb.list
</code>

Про ключ не забываем

<code>
wget --quiet -O - https://packagecloud.io/timescale/timescaledb/gpgkey | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/timescaledb.gpg
</code>

Обновим список

<code>
sudo apt update
</code>

Ставим необходимое

<code>
sudo apt install timescaledb-2-postgresql-17 timescaledb-2-loader-postgresql-17
</code>

Выполняем настройку. Проще всего на все ответить "да".

<code>
sudo timescaledb-tune
</code>

Останавливаем сервер Zabbix

<code>
sudo systemctl stop zabbix-server
</code>

Перезапустим postgresql

<code>
sudo systemctl restart postgresql
</code>

Подключаем расширение к Zabbix

<code>
echo "CREATE EXTENSION IF NOT EXISTS timescaledb CASCADE;" | sudo -u postgres psql --dbname=zabbixrddb
</code>

И выполняем скрипт для конвертации данных. Занимает некоторое время.

<code>
sudo -u postgres psql --host=127.0.0.1 --dbname=zabbixrddb --username=zabbixrd -f /usr/share/zabbix-sql-scripts/postgresql/timescaledb/schema.sql
</code>

Запускаем Zabbix

<code>
sudo systemctl start zabbix-server
</code>

Помогли в написании источники: https://www.initmax.com/wiki/zabbix-migration-from-mysql-to-postgresql/ https://interface31.ru/tech_it/2024/07/ustanovka-zabbix-7-c-nginx-postgresql-timescaledb-na-ubuntu-server.html https://rutube.ru/video/f393860f271726b94d9a1467a871c1da/