2020/05/29일 블로그 서버가 접속되지 않는 문제가 발생하여, 해당 내용에 대해 정리한 글입니다.

 

장애발생 일시

2020/05/29 11:06 ~ 12:12

현상

11시 06분경 시스템 네트워크 서비스 재시작으로 인하여 시스템-도커 간의 네트워크가 되살아나지 못한 것으로 추정.

조치내용

• 11:06 장애발생 확인
• 12:12 시스템 재기동

장애내용

DNS 캐시 초기화를 위해 network 서비스를 재시작하였는데 그로인하여 시스템-도커 간의 네트워크가 끊긴 후 되살아나지 못한 것으로 보여짐.

11시 20분경 블로그 접근 중 서버 장애 여부를 확인하였고, 서버쪽으로 접근하는 공유기의 VPN으로 진입하여 내부 network가 정상임을 확인.
내부에서 내부망 IP로 서버를 접근하였으나 서버에 접근되지 않는 것을 확인하였고, 이후 ssh를 접속하여 통신 문제가 아님을 확인.
도커 내 node 서버로 접근해보았으나 해당 서버도 접근이 안되었기 때문에 docker의 문제라고 확신하였고,
docker-compose를 통해 도커 환경을 다시 시작해보았으나 여전히 정상적으로 동작하지 않았으며 시스템 재시작 이후 정상적으로 동작하였음.

향후대책

• 시스템 모니터링 서버를 제작하여 문제발생 시 바로 확인이 가능하도록 시스템 구성 필요.
• network 서비스와 docker의 network간이 관계 확인 필요.