ORA-19511 - ORA-19502 RMAN Backup - Block change tracking

L'autre jour, un de mes clients m'a dit qu'il avait de backups qui ne se terminaient pas depuis deux jours, au moment de regarder je lui ai demandé si des modifications avaient été apportées avant ça. la seule chose qui était planifié c'est l'installation du dernier PSU de base de données :


En regardant le message d'erreur de son backup j'ai vu ces messages :


channel c2: starting piece 1 at 23-MAI  -2017 17:42:20
channel c3: finished piece 1 at 23-MAI  -2017 17:43:15
piece handle=/MYBD/INCR_LVL_1_MYBD_26518_1_944750196 tag=QUOTIDIEN_INCR_1_MMYBD comment=API Version 2.0,MMS Version 5.0.0.0
channel c3: backup set complete, elapsed time: 03:06:37
channel c4: finished piece 1 at 23-MAI  -2017 17:43:45
piece handle=/MYBD/INCR_LVL_1_MYBD_26519_1_944750198 tag=QUOTIDIEN_INCR_1_MMYBD comment=API Version 2.0,MMS Version 5.0.0.0
channel c4: backup set complete, elapsed time: 03:07:06
RMAN-03009: failure of backup command on c1 channel at 05/23/2017 19:39:02
ORA-27192: skgfcls : sbtclose2 a renvoy<E9> une erreur - la fermeture du fichier a <E9>chou<E9>
ORA-19511: Erreur re<E7>ue de la couche de gestionnaire de supports, texte du message d'erreur :
   Failed to process backup file </MYBD/INCR_LVL_1_MYBD_26516_1_944750196>
ORA-19502: erreur d'<E9>criture sur fichier "/MYBD/INCR_LVL_1_MYBD_26516_1_944750196", num<E9>ro de bloc 1153 (taille de bloc=16384)
ORA-27030: skgfwrt : sbtwrite2 a renvoy<E9> une erreur
channel c1 disabled, job failed on it will be run on another channel
channel c3: starting incremental level 1 datafile backup set
channel c3: specifying datafile(s) in backup set

En feuillant dans l'alertlog de la bd j'ai reculé au jour de l'installation du PSU 

Mon May 22 11:04:55 2017

RVWR I/O error (d06cc200, 59374, 131072, 1)

Errors in file /u01/app/moncompte/diag/rdbms/mmybd/MYBD/trace/MYBD_rvwr_5686.trc:

ORA-38701: Flashback database log 30 seq 14380 thread 1: "+FLASMYBD/mmybd/flashback/log_30.817.941939635"

ORA-15078: ASM diskgroup was forcibly dismounted

*************************************

RVWR encountered an error when writing flashback database logs.

See error stack in alert log.  To avoid crashing the instance,

this instance has turned off flashback database.

*************************************

Mon May 22 11:05:05 2017

Completed checkpoint up to RBA [0x4d39a.2.10], SCN: 9791752278402

Mon May 22 11:05:07 2017

CHANGE TRACKING ERROR 19754, disabling change tracking

Errors in file /u01/app/moncompte/diag/rdbms/mmybd/MYBD/trace/MYBD_ctwr_5723.trc:

ORA-19754: error reading from change tracking file

ORA-19750: change tracking file: '+FLASMYBD/mmybd/bct_11feb2015.dbf'

ORA-15078: ASM diskgroup was forcibly dismounted

Block change tracking service stopping.

WARNING: Cannot delete file +FLASMYBD/mmybd/bct_ABCXYZ.dbf

Dans ce cas on voit que l'arrêt de la bd ne s'est pas fait comme d'habitude.

-Hors du message du flashback qui est aussi un autre problème-

La partie du problème de cette publication était claire : 

SELECT * FROM V$BLOCK_CHANGE_TRACKING;

   STATUS     FILENAME               BYTES

   ---------- ----------------------------

   DISABLED

On a mis sur place une autre fois le BCT, on a demandé à notre équipe de netbackup de nous accorder un timeout (  https://www.veritas.com/support/en_US/article.000020638 ) plus long temporairement et par la suite, un full backup a été lancé. 

Suite à ça le temps des backups est redevenu à la normale.