지원사업
학술연구/단체지원/교육 등 연구자 활동을 지속하도록 DBpia가 지원하고 있어요.
커뮤니티
연구자들이 자신의 연구와 전문성을 널리 알리고, 새로운 협력의 기회를 만들 수 있는 네트워킹 공간이에요.
논문 기본 정보
- 자료유형
- 학위논문
- 저자정보
- 지도교수
- 서의성
- 발행연도
- 2022
- 저작권
- 성균관대학교 논문은 저작권에 의해 보호받습니다.
이용수9
이 논문의 연구 히스토리 (2)
- 이 논문의 후속연구가 궁금하신가요?
- 연관 학술논문 또는 학술발표를 통해 보다 발전된 연구결과를 확인하실 수 있습니다.
- 이 논문의 연구 히스토리 확인하기
초록· 키워드
오류제보하기
딥 러닝 추론이 여러 분야의 문제를 해결하는 데 사용되면서 심층 신경망(DNN) 추론 작업에 대한 데이터 센터 차원의 수요가 급증하고 있다. 이에 따라 현대의 클라우드 환경에서 DNN 추론 작업은 점점 하나의 서비스로 분화되었고, 마이크로서비스 개발 구조에서는 추론 서빙 시스템이 독립된 컨테이너 형태로 배포된다. 그러나 고품질의 이미지, 오디오 등과 같은 멀티미디어 데이터가 보편화됨에 따라 DNN 추론에 사용되는 입력 데이터도 그 용량이 증가하였고, 이에 더불어 서비스간 데이터 전송이 필수적인 마이크로서비스 아키텍쳐의 구조적 특성으로 인하여 데이터 전송으로 인한 상당한 양의 네트워크 트래픽이 DNN 추론 서빙 과정에서 발생하게 된다.
본 논문은 입력 데이터의 크기에 비하여 출력 데이터의 크기가 현저히 작은 DNN 추론의 연산 특성을 활용하여 노드 수준의 선택적 근접 데이터 처리 기법을 제안한다. 스토리지 노드 내에 전용 GPU를 설치하고 추론 서비스를 구동하여 컴퓨팅 노드의 작업 중 스토리지 측에서 처리할 때에 유리한 작업만을 스토리지 노드에 오프로딩(offloading)한다. 제안하는 기법은 스토리지 측에서 처리하는 것에 대한 유불리를 네트워크 상황, 스토리지의 부하, DNN 모델의 특성을 모두 고려하여 동적으로 판단하며, GPU 메모리에 적재되는 DNN 모델의 관리 기법을 포함한다. 해당 기법은 NVIDIA의 추론 서비스 소프트웨어인 Triton Inference Server와 NFS 스토리지 서버를 사용하여 구현되었다. 실험을 통해 제안하는 기법의 성능을 평가하였을 때, 기존의 전통적 데이터 이동 방식에 비하여 제안하는 기법이 종단 간 지연을 평균 25%, 네트워크 트래픽을 최대 22% 감소시켰다.
본 논문은 입력 데이터의 크기에 비하여 출력 데이터의 크기가 현저히 작은 DNN 추론의 연산 특성을 활용하여 노드 수준의 선택적 근접 데이터 처리 기법을 제안한다. 스토리지 노드 내에 전용 GPU를 설치하고 추론 서비스를 구동하여 컴퓨팅 노드의 작업 중 스토리지 측에서 처리할 때에 유리한 작업만을 스토리지 노드에 오프로딩(offloading)한다. 제안하는 기법은 스토리지 측에서 처리하는 것에 대한 유불리를 네트워크 상황, 스토리지의 부하, DNN 모델의 특성을 모두 고려하여 동적으로 판단하며, GPU 메모리에 적재되는 DNN 모델의 관리 기법을 포함한다. 해당 기법은 NVIDIA의 추론 서비스 소프트웨어인 Triton Inference Server와 NFS 스토리지 서버를 사용하여 구현되었다. 실험을 통해 제안하는 기법의 성능을 평가하였을 때, 기존의 전통적 데이터 이동 방식에 비하여 제안하는 기법이 종단 간 지연을 평균 25%, 네트워크 트래픽을 최대 22% 감소시켰다.
목차
제 1 장 서론 1제 2 장 배경 지식 및 관련 연구 52-1. DNN 마이크로서비스 구조와 추론 서비스 52-2. 근접 데이터 처리 8제 3 장 선택적 오프로딩 기법 113-1. 기법 개요 113-2. 추론 계획자 ? 지연 시간 기반 선택적 추론 기법 143-3. DNN 모델 관리자 ? 누적 이익 기반 모델 로드 기법 18제 4 장 구현 및 성능 평가 224-1. 구현 224-2. 성능 평가 환경 234-3. 실험 결과 25제 5 장 결론 28참고 문헌 29Abstract 35
최근 본 자료
댓글(0)
0