Monday, 31 May 2021

During Delete Virtual Storage getting Error "CRS-2680: Clean of 'tats.kvm' on 'furoda' failed)." In Oracle Database Appliance (ODA)

Error:

DCS-10001:Internal error encountered: KvmCommandExecutor.KvmCommandResult(returnCode=1, output=PRCR-1065 : 

Failed to stop resource ora.data.ebsstorage.acfs CRS-2680: Clean of 'tats.kvm' on 'hpmloda' failed).

Solution:

[root@furoda ~]# odacli delete-vmstorage -n EBSSTORAGE

Job details

----------------------------------------------------------------

ID:  cc500af7-359d-4d0c-b823-dc30c0a5c0b0

Description:  VM storage ebsstorage deletion

Status:  Created

Created:  May 28, 2021 11:04:44 AM PKT

 Message:

Task Name                                Start Time                          End                                                                                                              Time                            Status

---------------------------------------- ----------------------------------- ---                                                                                                             -------------------------------- ----------

[root@furoda ~]# odacli describe-job -i cc500af7-359d-4d0c-b823-dc30c0a5c0b0

Job details

----------------------------------------------------------------

                     ID:  cc500af7-359d-4d0c-b823-dc30c0a5c0b0

            Description:  VM storage ebsstorage deletion

                 Status:  Failure

                Created:  May 28, 2021 11:04:44 AM PKT

                Message:  DCS-10001:Internal error encountered: KvmCommandExecutor.KvmCommandResult(returnCode=255, output=ASMCMD-9470: ASM proxy instance unavailable 

ASMCMD-9473: volume STATE will show as REMOTE

Diskgroup Name: DATA

         Volume Name: EBSSTORAGE

         Volume Device: /d

Task Name                                Start Time                          End Time                            Status

---------------------------------------- ----------------------------------- ----------------------------------- ----------

Validate Vm Storage exists               May 28, 2021 11:04:44 AM PKT        May 28, 2021 11:04:44 AM PKT        Success

Validate no resources associated         May 28, 2021 11:04:44 AM PKT        May 28, 2021 11:04:44 AM PKT        Success

Remove ACFS filesystem from Clusterware  May 28, 2021 11:04:44 AM PKT        May 28, 2021 11:04:45 AM PKT        InternalError

[root@furoda ~]# su - grid

[grid@furoda ~]$ export ORACLE_SID=+ASM1

[grid@furoda ~]$ export ORACLE_HOME=/u01/app/19.0.0.0/grid

[grid@furoda ~]$ export PATH=/u01/app/19.0.0.0/grid/bin:$PATH

[grid@furoda ~]$ crsctl stat res -t

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.DATA.COMMONSTORE.advm

               ONLINE  ONLINE       furoda                  STABLE

ora.DATA.DIR_FS.advm

               ONLINE  ONLINE       furoda                  STABLE

ora.DATA.EBSSTORAGE.advm

               ONLINE  ONLINE       furoda                  STABLE

ora.LISTENER.lsnr

               ONLINE  ONLINE       furoda                  STABLE

ora.chad

               ONLINE  ONLINE       furoda                  STABLE

ora.data.commonstore.acfs

               ONLINE  ONLINE       furoda                  mounted on /opt/orac

                                                             le/dcs/commonstore,S

                                                             TABLE

ora.data.dir_fs.acfs

               ONLINE  ONLINE       furoda                  mounted on /dir_fs,S

                                                             TABLE

ora.data.ebsstorage.acfs

               OFFLINE ONLINE       furoda                  mounted on /u05/app/

                                                             sharedrepo/ebsstorag

                                                             e,STABLE

ora.net1.network

               ONLINE  ONLINE       furoda                  STABLE

ora.ons

               ONLINE  ONLINE       furoda                  STABLE

ora.proxy_advm

               ONLINE  ONLINE       furoda                  STABLE

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup)

      1        ONLINE  ONLINE       furoda                  STABLE

ora.DATA.dg(ora.asmgroup)

      1        ONLINE  ONLINE       furoda                  STABLE

ora.LISTENER_SCAN1.lsnr

      1        OFFLINE OFFLINE                               STABLE

ora.RECO.dg(ora.asmgroup)

      1        ONLINE  ONLINE       furoda                  STABLE

ora.asm(ora.asmgroup)

      1        ONLINE  ONLINE       furoda                  Started,STABLE

ora.asmnet1.asmnetwork(ora.asmgroup)

      1        ONLINE  ONLINE       furoda                  STABLE

ora.cvu

      1        ONLINE  ONLINE       furoda                  STABLE

ora.fur.db

      1        ONLINE  ONLINE       furoda                  Open,HOME=/u01/app/o

                                                             racle/product/12.1.0

                                                             .2/dbhome_2,STABLE

ora.furoda.vip

      1        ONLINE  ONLINE       furoda                  STABLE

ora.qosmserver

      1        ONLINE  ONLINE       furoda                  STABLE

ora.scan1.vip

      1        OFFLINE OFFLINE                               STABLE

tats.kvm

      1        ONLINE  UNKNOWN      furoda                  STABLE

--------------------------------------------------------------------------------


[grid@furoda ~] exit

root@furoda ~]# export PATH=/u01/app/19.0.0.0/grid/bin:$PATH

root@furoda ~]# cd /u01/app/19.0.0./grid/bin

root@furoda ~]# ./crsctl delete res tats.kvm

[root@furoda bin]# ./crsctl stat res -t

--------------------------------------------------------------------------------

Name           Target  State        Server                   State details

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.DATA.COMMONSTORE.advm

               ONLINE  ONLINE       furoda                  STABLE

ora.DATA.DIR_FS.advm

               ONLINE  ONLINE       furoda                  STABLE

ora.DATA.EBSSTORAGE.advm

               ONLINE  ONLINE       furoda                  STABLE

ora.LISTENER.lsnr

               ONLINE  ONLINE       furoda                  STABLE

ora.chad

               ONLINE  ONLINE       furoda                  STABLE

ora.data.commonstore.acfs

               ONLINE  ONLINE       furoda                  mounted on /opt/orac

                                                             le/dcs/commonstore,S

                                                             TABLE

ora.data.dir_fs.acfs

               ONLINE  ONLINE       furoda                  mounted on /dir_fs,S

                                                             TABLE

ora.data.ebsstorage.acfs

               OFFLINE ONLINE       furoda                  mounted on /u05/app/

                                                             sharedrepo/ebsstorag

                                                             e,STABLE

ora.net1.network

               ONLINE  ONLINE       furoda                  STABLE

ora.ons

               ONLINE  ONLINE       furoda                  STABLE

ora.proxy_advm

               ONLINE  ONLINE       furoda                  STABLE

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup)

      1        ONLINE  ONLINE       furoda                  STABLE

ora.DATA.dg(ora.asmgroup)

      1        ONLINE  ONLINE       furoda                  STABLE

ora.LISTENER_SCAN1.lsnr

      1        OFFLINE OFFLINE                               STABLE

ora.RECO.dg(ora.asmgroup)

      1        ONLINE  ONLINE       furoda                  STABLE

ora.asm(ora.asmgroup)

      1        ONLINE  ONLINE       furoda                  Started,STABLE

ora.asmnet1.asmnetwork(ora.asmgroup)

      1        ONLINE  ONLINE       furoda                  STABLE

ora.cvu

      1        ONLINE  ONLINE       furoda                  STABLE

ora.fur.db

      1        ONLINE  ONLINE       furoda                  Open,HOME=/u01/app/o

                                                             racle/product/12.1.0

                                                             .2/dbhome_2,STABLE

ora.furoda.vip

      1        ONLINE  ONLINE       furoda                  STABLE

ora.qosmserver

      1        ONLINE  ONLINE       furoda                  STABLE

ora.scan1.vip

      1        OFFLINE OFFLINE                               STABLE

--------------------------------------------------------------------------------

[root@furoda bin]#

[root@furoda bin]# odacli delete-vmstorage -n EBSSTORAGE

Job details

----------------------------------------------------------------

                     ID:  04f53ebb-233e-4040-adc8-61c135524ae8

            Description:  VM storage ebsstorage deletion

                 Status:  Created

                Created:  May 28, 2021 11:23:47 AM PKT

                Message:

Task Name                                Start Time                          End Time                            Status

---------------------------------------- ----------------------------------- ----------------------------------- ----------

[root@furoda bin]# odacli describe-job -i 04f53ebb-233e-4040-adc8-61c135524ae8

Job details

----------------------------------------------------------------

                     ID:  04f53ebb-233e-4040-adc8-61c135524ae8

            Description:  VM storage ebsstorage deletion

                 Status:  Success

                Created:  May 28, 2021 11:23:47 AM PKT

                Message:

Task Name                                Start Time                          End Time                            Status

---------------------------------------- ----------------------------------- ----------------------------------- ----------

Validate Vm Storage exists               May 28, 2021 11:23:47 AM PKT        May 28, 2021 11:23:47 AM PKT        Success

Validate no resources associated         May 28, 2021 11:23:47 AM PKT        May 28, 2021 11:23:47 AM PKT        Success

Remove ACFS filesystem from Clusterware  May 28, 2021 11:23:47 AM PKT   May 28, 2021 11:23:51 AM PKT        Success

Delete ACFS mount point                  May 28, 2021 11:23:51 AM PKT        May 28, 2021 11:23:51 AM PKT        Success

Remove ACFS filesystem                   May 28, 2021 11:23:51 AM PKT        May 28, 2021 11:23:51 AM PKT        Success

Delete ASM volume                        May 28, 2021 11:23:51 AM PKT        May 28, 2021 11:23:56 AM PKT        Success

Delete metadata                          May 28, 2021 11:23:56 AM PKT        May 28, 2021 11:23:56 AM PKT        Success


No comments:

Post a Comment