Сжатие базы данных

Ребьзя, привет.

Исследуем тему миграции 1С (в частности СУБД) с MSSQL на PostgreSQL.

Сразу к делу:
У меня есть база (приложение - 1С) на MS SQL (2012) в несжатом виде (data_compression = NONE) весит 20 Гб.
Мы ее экспортируем в dt-файл и загружаем в Postgres 9.2 от 1С (собран со всеми последними патчами по исходникам).
База превращается в 34 Гб.

Насколько я уже успел начитаться, в PostgreSQL по умолчанию сжатие, аналогичное data_compression в MSSQL, включено.
Единственное, что я нашел в Google, так это поменять тип хранения у столбца в таблице, например:

ALTER TABLE _accumrg13793 ALTER COLUMN _fld13807_rrref SET STORAGE 'сюда напиши что-нить из TOAST';

Вопросы:

1) Какие есть еще варианты?
2) Получается надо в каждой таблице, для каждого столбца это сделать? поможет ли это?

Привожу результаты запроса:

select
  pg_relation_size(c.oid) as size,
  ns.nspname,
  (select relname from pg_class where reltoastrelid=c.oid) as parent,
  c.relname, c.relkind, c.relpages, c.reltuples
from pg_class c
  join pg_namespace ns on ns.oid=c.relnamespace
order by size desc
limit 20

Первые 20 записей:

size nspname parent relname relkind relpages reltuples 1244233728 public _document274 r 151884 671673 1112047616 public _inforg15522 r 135748 527974 864837632 public _accumrgt13527 r 105571 5.80627e+06 825139200 public _accum13527_bydims_trrrtrn i 100725 5.80627e+06 690765824 public _accumrgt14294 r 84322 4.63767e+06 684277760 public _inforg13419 r 83530 3.59176e+06 658259968 public _accum14294_bydims_trrrr i 80354 4.63767e+06 624795648 public _accumrgt14112 r 76269 4.65244e+06 579813376 public _accum14112_bydims_trrr i 70778 4.65244e+06 565846016 public _document359_vt10651 r 69073 3.59176e+06 532094976 public _accumrg14093 r 64953 1.75089e+06 492863488 public _inforg12136 r 60164 3.27958e+06 474693632 public _accumrgt13742 r 57946 2.95277e+06 450297856 public _accum13742_bydims_trrrnr i 54968 2.95277e+06 409550848 public _accumrg13529 r 49994 1.89976e+06 402710528 pg_toast config pg_toast_140510 t 0 0 392462336 public _infor12136_byresource12150_snnnnnnn i 47908 3.27958e+06 378585088 public _infor13419_byperiod_trrr i 46214 3.59176e+06 372121600 public _document338 r 45425 183608

Pavel Bobrovnikov

Первые 20 записей: size nspname parent relname relkind relpages reltuples 1244233728 public _document274 r 151884 671673 1112047616 public _inforg15522 r 135748 527974 864837632 public _accumrgt13527 r 105571 5.80627e+06 825139200 public _accum13527_bydims_trrrtrn i 100725 5.80627e+06 690765824 public _accumrgt14294 r 84322 4.63767e+06 684277760 public _inforg13419 r 83530 3.59176e+06 658259968 public _accum14294_bydims_trrrr i 80354 4.63767e+06 624795648 public _accumrgt14112 r 76269 4.65244e+06 579813376 public _accum14112_bydims_trrr i 70778 4.65244e+06 565846016 public _document359_vt10651 r 69073 3.59176e+06 532094976 public _accumrg14093 r 64953 1.75089e+06 492863488 public _inforg12136 r 60164 3.27958e+06 474693632 public _accumrgt13742 r 57946 2.95277e+06 450297856 public _accum13742_bydims_trrrnr i 54968 2.95277e+06 409550848 public _accumrg13529 r 49994 1.89976e+06 402710528 pg_toast config pg_toast_140510 t 0 0 392462336 public _infor12136_byresource12150_snnnnnnn i 47908 3.27958e+06 378585088 public _infor13419_byperiod_trrr i 46214 3.59176e+06 372121600 public _document338 r 45425 183608

-- тест

Pavel Bobrovnikov
База превращается в 34 Гб.

Для начала сделайте vacuum full & reindex (иногда быстрее сделать pg_dump а потом pg_restore в отдельную базу)
Восстановление из dt - довольно специфичная процедура. Возможно, база уменьшится.

Хорошо. Как закончится, сообщу результаты.

Pavel Bobrovnikov

Ребьзя, привет. Исследуем тему миграции 1С (в частности СУБД) с MSSQL на PostgreSQL. Сразу к делу: У меня есть база (приложение - 1С) на MS SQL (2012) в несжатом виде (data_compression = NONE) весит 20 Гб. Мы ее экспортируем в dt-файл и загружаем в Postgres 9.2 от 1С (собран со всеми последними патчами по исходникам). База превращается в 34 Гб. Насколько я уже успел начитаться, в PostgreSQL по умолчанию сжатие, аналогичное data_compression в MSSQL, включено. Единственное, что я нашел в Google, так это поменять тип хранения у столбца в таблице, например: ALTER TABLE _accumrg13793 ALTER COLUMN _fld13807_rrref SET STORAGE 'сюда напиши что-нить из TOAST'; Вопросы: 1) Какие есть еще варианты? 2) Получается надо в каждой таблице, для каждого столбца это сделать? поможет ли это?

всеравно что не делай скорее всего будет по размеру больше чем в mssql (по целому ряду причин).
Но всеравно попробуйте vacuum full+reindex (на время этой процедуры база будет недоступна) может гигов 5-10 освободите.

vaccum full прошел.
reindex прошел.

Размер изменился на 1 Гб в минус.

postgres=# select t1.datname AS db_name,
       pg_size_pretty(pg_database_size(t1.datname)) as db_size
from pg_database t1
order by pg_database_size(t1.datname) desc;
  db_name   | db_size
------------+---------
 test_1c    | 33 GB 
(7 rows)

Pavel Bobrovnikov
У меня есть база (приложение - 1С) на MS SQL (2012) в несжатом виде (data_compression = NONE) весит 20 Гб. Мы ее экспортируем в dt-файл и загружаем в Postgres 9.2 от 1С (собран со всеми последними патчами по исходникам). База превращается в 34 Гб.

Это норма, беспокоиться по этому поводу не нужно.

это только одна база :)
У нас еще некоторые базы по 200-300 и 500 Гб в сжатом(data_compression=page) виде..
Получается, что выходи один - подключать большие диски?

А что скажите по поводу данной команды:

ALTER TABLE _accumrg13793 ALTER COLUMN _fld13807_rrref SET STORAGE 'сюда напиши что-нить из TOAST';

Когда ее надо применять?