Openstack RabbitMQ unsynchronized error

에러 내용

rabbitMQ container error

Aug 17 07:16:17 controller2-rabbit-mq-container-629b2f89 rabbitmq-server[3481331]: Channel error on connection <0.23694.1011> (172.29.237.186:38458 -> 172.29.237.65:5672, vhost: '/ceilometer', user: 'ceilometer'), channel 1:
                                                                                   operation queue.declare caused a channel exception not_found: failed to perform operation on queue 'event.sample' in vhost '/ceilometer' due to timeout
Aug 17 07:16:16 controller2-rabbit-mq-container-629b2f89 rabbitmq-server[3481331]: Channel error on connection <0.4931.1> (172.29.238.34:45696 -> 172.29.237.65:5672, vhost: '/nova', user: 'nova'), channel 1:
                                                                                   operation queue.declare caused a channel exception not_found: failed to perform operation on queue 'notifications_designate.info' in vhost '/nova' due to timeout

 

nova container error

Aug 17 09:02:28 controller2-nova-api-container-bcb8460e nova-api-wsgi[51]: 2023-08-17 09:02:28.088 51 ERROR oslo.messaging._driv
ers.impl_rabbit [-] [0d5c24aa-0576-4f8d-9c98-d0ca1a8a131c] AMQP server on 172.29.238.21:5672 is unreachable: <RecoverableConnectionError: unknown error>
. Trying again in 1 seconds.: amqp.exceptions.RecoverableConnectionError: <RecoverableConnectionError: unknown error>

이외 다수 존재

 

원인은 rabbitMQ unsynchronized error

VNC viewer로 public의 gui로 접속

그 후 rabbitMQ gui 페이지를 통해 확인

rabbitMQ gui : 172.29.236.5:15671

여기서 문제가 되었던 vhost인 /nova, /ceilometer의 queue를 확인하면 현재는 정상이지만 파란 +2가 아닌 빨간색 +2로 표기되는 것을 확인

details의 mirrors 부분에서 (unsychronized) 라는 표기를 볼 수 있는데 그 아래에 synchronized 버튼이 하나 생성

해당 버튼을 눌러 동기화 안된 구성원을 동기화하여 해결

 

 

발생 원인 : 어떠한 이유로 rabbitmq-server restart 하는 과정에서 동기화가 틀어진 것으로 추정

• nova와 ceilometer외에도 발생할 수 있으니 다른 vhost도 확인 필요