Trezory na platforme PostgreSQL

Trezorová databáza je realizovaná samostatnou databázou. Názov trezorových databáz je daný konfiguračným parametrom PG_TrezorName0.
Podobne ako pre Sybase, v konfigurácii archívu je definovaná perióda TrezorPeriod, počas ktorej archív zapisuje údaje do jednej trezorovej databázy. Po uplynutí periódy sa databáza odloží a začne sa zapisovať do novej trezorovej databázy. Odložená databáza je ešte určitý čas (konfiguračný parameter TrezorCompressTime) prístupná na zápis oneskorených údajov. Po uplynutí tohto času je nastavený read-only prístup do trezorovej databázy (ALTER DATABASE APLIKACIA_TREZOR_#ID# SET default_transaction_read_only = true) a pokiaľ hodnota parametra TrezorCompressOffline=1, je zakázaný prístup k trezorovej databáze (update pg_database set datallowconn = false where datname = 'APLIKACIA_TREZOR_#ID#'). Po odpojení trezoru je možné spustiť externý program, ktorého cestu a názov určuje konfiguračný parameter TrezorPostCompressCmd a jeho parametre určuje parameter TrezorPostCompressPar.
Program môže napr. presunúť a zozipovať odpojený trezor alebo pomocou programu pg_dump vytvoriť dump trezorovej databázy.

V D2000 verzii 21 pribudla možnosť pri odpojení trezora zmeniť jeho vnútornú štruktúru a tak niekoľkonásobne zmenšiť jeho veľkosť. Táto možnosť sa aktivuje parametrom TrezorCompress.
Pozn 1: Aby databázový užívateľ dba (pod ktorým sa D2000 Archív pripája na PostgreSQL server) mohol databázy vytvárať a odpájať, je odporúčané dať mu privilégium superužívateľa ( ALTER ROLE dba WITH SUPERUSER; ).
Pozn 2: Keďže každá trezorová databáza (resp. každý trezorový segment) je samostatná databáza, ku ktorej proces D2000 Archiv pristupuje cez samostatné databázové spojenie, je nutné v konfigurácii PostgreSQL servera nastaviť dostatočný počet spojení (parameter max_connections), aby D2000 Archív mohol vytvoriť spojenia na všetky pripojené trezory.
Pozn 3: Aby užívateľ dba mohol vytvárať trezorové databázy, je mu nutné dať superužívateľské práva. Je to možné spraviť z D2SMC z kontextového menu archívu:

Trezorové segmenty

Trezory na platforme PostgreSQL podporujú aj trezorové segmenty (podobne ako na platforme Oracle). Trezorovým segmentom sa rozumie trezorová databáza, pričom sa vytvára a napĺňa viac trezorových databáz naraz. Každá archivovaná hodnota sa ukladá do jedného trezorového segmentu, ktorého číslo určuje konfiguračný parameter Trezorový segment na archivovanej hodnote.

Počet trezorových segmentov, ktoré archív vytvára, učuje registry parameter TrezorCountSegments. Archivované hodnoty, ktoré majú parameter Trezorový segment väčší ako je hodnota registry parametra TrezorCountSegments, budú zapisované do nultého trezorového segmentu (to je trezorová databáza, ktorý sa vytvára aj pri vypnutých trezorových segmentoch).

Každý trezorový segment je realizovaný samostatnou databázou. Názov databáz reprezentujúcej segmenty 0 je daný konfiguračným parametrom PG_TrezorName0, názvy databáz reprezentujúcich segmenty 1..N sú dané konfiguračným parametrom PG_TrezorName.

Zmyslom trezorových segmentov je vytvorenie viacerých menších trezorov, takže pri čítaní jednej archivovanej hodnoty za dlhší časový úsek je možné vystačiť s menším diskovým priestorom (keďže je nutné montovať iba trezorové segmenty obsahujúce túto archivovanú hodnotu), ako by vyžadovalo montovanie celého objemu trezorov za žiadané obdobie.

Popis konfiguračných parametrov pre platformu PostgreSQL:

• PG_CreateTrezor - SQL príkaz na vytváranie trezorovej databázy. Prednastavená hodnota je
  CREATE DATABASE "#TREZOR#" WITH ENCODING='UTF8' OWNER=dba TABLESPACE="D2000" TEMPLATE=template0
  kde #TREZOR# je názov trezorovej databázy (definovaný konfiguračným parametrom PG_TrezorName0 resp. pre trezorové segmenty 1..N parametrom PG_TrezorName). Štandardne teda je vyžadované, aby v PostgreSQL databázovom serveri existoval tablespace s názvom D2000 a template databáza template0.

• PG_TrezorFileMulti - parameter 

  je aktívny, ak je zadaný aj parameter PG_TrezorFilePath. Parameter udáva násobiteľ pre parameter CommitCount . Prednastavená hodnota parametra je 10.

• PG_TrezorFilePath - parameter je použiteľný pre PostgreSQL 9.5 a vyšší a aktivuje zápis do trezorov cez súbory, ktorý je 2 až 3-krát rýchlejší ako štandardný dávkový zápis cez ODBC rozhranie. Po nazhromaždení PG_TrezorFileMulti * CommitCount hodnôt sa tieto uložia do súboru s názvom archiv_<TrezorId>_<SegmentId>.txt (napr. archiv_4_1.txt) v adresári PG_TrezorFilePath a vykoná sa upsert do trezoru, pričom ako zdroj sa použije vzdialená tabuľka (foreign table) mapovaná na tento súbor pomocou PostgreSQL rozšírenia file_fdw. 

  
  Adresár PG_TrezorFilePath musí byť dostupný na zápis pre archív aj pre databázu PostgreSQL, preto je tento parameter použiteľný, ak je archív a databáza na tom istom počítači.

• PG_TrezorName0 - maska pre názov vytváranej trezorovej databázy. Pokiaľ sú zapnuté trezorové segmenty, táto maska sa použije pre segment 0. Prednastavená hodnota je appname_TREZOR_#ID#, kde appname je názov aplikácie a #ID# sa nahrádza číslom trezora.
  Napr. pre aplikáciu Test vzniknú trezory Test_TREZOR_1, Test_TREZOR_2, Test_TREZOR_3 atď.
  Zadaná maska teda musí obsahovať text #ID#.
  Poznámka: ak nevyhovuje prednastavená hodnota, tak treba hodnotu parametra nastaviť pred zapnutím trezorovania. Pokiaľ by bolo potrebné zmeniť hodnotu počas trezorovania, je nutné ručne premenovať všetky už vytvorené trezorové databázy tak, aby boli v súlade s novou maskou.

• PG_TrezorName - maska pre názov vytváraných databáz - trezorových segmentov 1..N. Parameter je použitý iba ak TrezorCountSegments > 0.
  Prednastavená hodnota je appname_TREZOR_#ID#_#SEG#, kde appname je názov aplikácie, #ID# sa nahrádza číslom trezora a #SEG# sa nahrádza číslom segmentu.
  Napr. pre aplikáciu Test s počtom trezorových segmentov 1 vzniknú trezory Test_TREZOR_1, Test_TREZOR_1_1, Test_TREZOR_2, Test_TREZOR_2_2, Test_TREZOR_3, Test_TREZOR_3_1 atď.
  Zadaná maska teda musí obsahovať text #ID# a #SEG#.
  Poznámka: ak nevyhovuje prednastavená hodnota, tak treba hodnotu parametra nastaviť pred zapnutím trezorovania. Pokiaľ by bolo potrebné zmeniť hodnotu počas trezorovania, je nutné ručne premenovať všetky už vytvorené trezorové databázy tak, aby boli v súlade s novou maskou.
• TrezorPeriod - perióda vytvárania trezorov. Udáva sa vo formáte NX, kde N je celé číslo a X udáva časovú jednotku.
  Prípustné časové jednotky sú H - hodina, D - deň, W - týždeň, M - mesiac.
  Poznámka: Nastavením prázdnej hodnoty alebo hodnoty 0H sa vypne vytváranie trezorových databáz.
• TrezorReadSegment0 - Parameter má zmysel iba ak sú nakonfigurované trezorové segmenty (nenulová hodnota parametra TrezorCountSegments). Zapnutie parametra (hodnota 1) spôsobí, že pri čítaní z trezorov sa bude čítať aj z trezorového segmentu 0. Čítanie z trezorov tak bude pomalšie, ale zato je možné prekonfigurovať archívne objekty z prednastaveného trezorového segmentu 0 na iný segment a zároveň zachovať prístup k údajom, ktoré boli v minulosti uložené v segmente 0.
  Parameter TrezorReadSegment0 sa dá nastavovať TELL príkazom SET_OPTION.
• TrezorReadSinceCreate - hodnota 1 znamená, že sa nebudú čítať staršie trezory, ako je Create Time archívneho objektu. Parameter TrezorReadSinceCreate sa dá nastavovať TELL príkazom SET_OPTION.
• TrezorCompress, TrezorCompressKeep, TrezorCompressReorg,TrezorCompressCmt,TrezorCompressOrder - parametre na konfiguráciu kompresie dát v pri odkladaní trezora.
• TrezorCompressOffline - hodnota 1 (prednastavená) znamená, že skomprimovaný trezor bude daný do offline módu. Hodnota 0 znamená, že trezor ostane v read-only móde a dáta budú dostupné na čítanie. Hodnota 2 znamená, že D2000 Archív nebude do trezoru pristupovať, kým sa vykonáva TrezorPostCompressCmd,takže je možné, aby tento príkaz vykonával rôzne operácie údržby, ktoré by inak mohli archív zablokovať.
• TrezorCompressTime - čas určujúci komprimáciu odloženej trezorovej databázy. Počas tohto času je databáza prístupná na zápis oneskorených údajov. TrezorCompressTime musí byť menší ako TrezorPeriod.
• TrezorCountSegments - počet trezorových segmentov (trezorových tablespace), ktoré trezor paralelne vytvára. Prednastavená hodnota je 0 (vytvára sa jediný segment 0), maximálna hodnota je 99 (vytvárajú sa segmenty 0 až 99). Parameter je typu DWORD !!!.
• TrezorPostCompressCmd - názov programu, ktorý sa spustí po odpojení trezoru. Program môže napr. presunúť a zozipovať odpojený trezor alebo pomocou PostgreSQL utility pg_dump vytvoriť dump trezorovej databázy.
  Poznámka: pred spustením príkazu sa nastavia environment premenné D2000_DBUSER a D2000_DBPASS na meno a heslo, ktoré D2000 Archív používa pri prístupe do archívnej databázy. Tieto premenné môžu byť použité v skripte na pripojenie sa k archívnej databáze.
• TrezorPostCompressPar - voliteľný parameter programu TrezorPostCompressCmd. Môže obsahovať ľubovoľný text a preddefinované makrá, ktoré sa nahradia pred spustením programu:
  • #ID# - nahradí sa Id trezora (napr. 5).
  • #OID# - nahradí sa OID (object identifier) trezorovej databázy (OID zodpovedá názvu adresára s databázou v rámci PostgreSQL tablespace).
  • #OID0#, #OID1#, #OID2# atď - nahradí sa OID (object identifier) trezorovej databázy reprezentujúcej príslušný trezorový segment 0, 1, 2 atď.
  • #TREZOR# - nahradí sa názvom trezorovej databázy (napr. Test_TREZOR_5).
  • #TREZOR0#, #TREZOR1#, #TREZOR2# atď. - nahradí sa názvom trezorovej databázy reprezentujúcej príslušný trezorový segment

Príklad dávkového súboru, ktorý slúži na upratanie a export trezorov po ich odpojení ako aj na export tabuľky trezors z archívnej databázy MyApp.Archiv. Dávkový súbor vyžaduje ako parameter názov trezorovej databázy, čo dosiahneme nastavením parametra TrezorPostCompressPar  na hodnotu #TREZOR#.

rem Target directory for exports
set MyDir=D:\Trezors_export\
rem Set PGPASSWORD to password assigned to D2000 user
set PGPASSWORD=%D2000_DBPASS%
set PGUSER=%D2000_DBUSER%
rem Set PATH to PostgreSQL installation (version-dependent)
set PATH=%PATH%;c:\Program Files\PostgreSQL\13\bin
rem export of table trezors from the archive database
pg_dump -Fc -f "%MyDir%\MyApp_arc_trezors.dmp" --table \"trezors\" MyApp.Archiv >> %MyDir%\%1.log
rem permit write access to depository database and cluster the data table
echo alter database "%1" set default_transaction_read_only=false | psql -S MyApp.Archiv >> %MyDir%\%1.log
echo alter table data cluster on ix_data_rc | psql -S %1 >> %MyDir%\%1.log
echo cluster data | psql -S %1 >> %MyDir%\%1.log
rem set access to depository database back to read only
echo alter database "%1" set default_transaction_read_only=true | psql -S MyApp.Archiv >> %MyDir%\%1.log
pg_dump -Fc -f "%MyDir%\%1.dmp" %1 >> %MyDir%\%1.log

Príklad ekvivalentného dávkového súboru pre platformu Linux:

#!/usr/bin/env bash
MyDir=/trezorbackup
MyArc=mes_tpd_archive_self
MyLog=$MyDir/$1.log

#path to pg_dump, psql etc
PATH=/usr/pgsql-11/bin:$PATH

#password for dba user
export PGPASSWORD=$D2000_DBPASS
export PGUSER=$D2000_DBUSER

#export of table trezors from the archive database
pg_dump -Fc -f "$MyDir/arc_trezors.dmp" --table \"trezors\" $MyArc >> $MyLog

#permit write access to depository database and cluster the data table
echo alter database \"$1\" set default_transaction_read_only=false | psql -S $MyArc >> $MyLog
echo alter table data cluster on ix_data_rc | psql -S "$1" >> $MyLog
echo cluster data | psql -S "$1" >> $MyLog

#set access to depository database back to read only
echo alter database \"$1\" set default_transaction_read_only=true | psql -S $MyArc >> $MyLog
#execute dump of depository database
pg_dump -Fc -f "$MyDir/$1.dmp" "$1" >> $MyLog