AWS Cloudwatch로 GPU 사용 모니터링하기

AWS 공식 문서 링크

https://docs.aws.amazon.com/dlami/latest/devguide/tutorial-gpu-monitoring-gpumon.html

Monitor GPUs with CloudWatch - Deep Learning AMI

 

공식 문서가 단순 번역이 되어있다보니 차라리 영어로 보는게 더 이해하기 편했다.

그래도 공식 문서보다 블로그에 더 자세하게 적으면 좋을 것 같아서 기록을 남깁니다.

 

1. IAM 메뉴에 들어가서 '사용자' 추가(이미 있다면 사용자 선택해서 편집만 하면 됨)

제 이름으로 하나 만들어 뒀습니다

2. Permission policies에서 '권한 추가'

권한 추가!

 

우리에게 필요한 'CloudWatchAgentServerPolicy'를 추가해줍니다.

(저는 이미 추가되어 있어서 0결과 표시가 정상입니다)

 

 

 

 

그러고 나서 이제 새로운 정책을 직접 만들어주어야 합니다! 이제 여기서부터가 공식 문서에 나오는 내용입니다.

 

3. 2번 스크린샷의 '권한 추가' 옆에 '인라인 정책 추가'를 눌러줍시다

그리고

서비스: CloudWatch

작업: PutMetricData(이건 직접 검색해야 나옵니다)

이런식으로

 

를 선택해 준 뒤,

JSON 탭에서 공식문서가 보여주는 JSON과 같은 내용들이 잘 들어갔는지도 확인해봅니다.(Allow, *.. 와 같은)

 

이제 정책 검토를 진행합니다.

 

이름에는 이 정책에 대한 이름을 써줄건데요, 저는 이 정책이 GPU 모니터링에 필요하기 때문에

'cloudwatch_for_GPU_usage'이라고 붙여주었습니다.

 

4. 이제 인스턴스 연결해서 콘솔창 띄우기

EC2 메뉴에서 인스턴스 연결을 통해 ssh 접속을 해봅니다.

이미 DeepLearning용 (우분투/리눅스) ec2 라면 ssh 접속을 하면 접속할 수 있는 가상환경 목록이 나오는데 본인이 사용하시는 가상환경을 꼭 activate하고 시작합니다.

 

 

가상환경 접속(ip는 가렸습니다)

 

5. cd ~/tools/GPUCloudWatchMonitor 로 이동해서 gpumon.py 있는지 확인

cd ~/tools/GPUCloudWatchMonitor

이 안에 README 파일과 gpumon.py가 있어야 합니다.

 

그리고 우리는 현재 region이 디폴트로 설정된 us-east-1이 아니라 서울이기 때문에

vi gpumon.py

로 들어가서

 

EC2_REGION을 바꾸어줍니다.

 

물론 본인 인스턴스 region이 서울이 아니라면 그 리전에 맞게 바꾸어 주시면 됩니다.

하단에 myNameSpace나 storage resolution또한 변경하실 수 있습니다.

myNameSpace는 나중에 cloudwatch에 나타나는 metrics에 적용되는 이름인 것 같습니다.

 

6. aws configure로 access key와 secret access key 입력하기

우선 access key와 secret access key가 있는지 확인해봅시다.

다시 AWS 콘솔에서 IAM 페이지로 돌아옵니다.

 

'보안 자격 증명' 탭에 보시면 액세스 키를 만들 수 있습니다.

이미 기존에 액세스 키가 있고, 액세스 키를 생성하실때 제공되는 csv 파일(이 파일 안에 secret access key가 명시되어있음. 다시 다운 불가)도 있다면 이 과정을 스킵하셔도 됩니다.

 

만약 없거나, 저장하지 않았거나, 기억나지 않으신다면 액세스 키를 새로 만들면 됩니다.

 

액세스 키를 새로 생성하게 되면

csv파일을 저장할 수 있는데, 이 파일을 열어보면

 

access key와 secret access key가 주어집니다.

 

그럼 이제 이 값들을 입력해봅시다.

aws configure

를 입력하면

위와 같이 Access key, Secret Acess Key를 물어보니 입력 해주면 됩니다.

리전 이름이나 ouput format은 그냥 빈칸으로 두고 엔터 치시면 됩니다.

 

7. 이제 gpumon.py 백그라운드 실행!

python3 gpumon.py &

를 입력해 백그라운드에서 돌아갈 수 있게 해줍니다.

 

에러가 나지 않고 

 

이런 결과가 나왔다면 성공입니다.

 

8. CloudWatch > 지표 > 모든지표 > DeepLearningTrain 선택

 

그럼 이제 GPU 사용량, 메모리 사용량, 온도 등을 한눈에 그래프로 확인할 수 있습니다.

 

 

끝 ~!