Tensor RT란? NVIDIA 에서 제작했으며, 학습된 Deep Learning 모델을 최적화하여 NVIDIA GPU 상에서의 Inference 속도를 수배 ~ 수십배 까지 향상 시키는 모델 최적화 엔진이다. 가장 핵심포인트는 고성능 딥러닝 추론 라이브러리이다. (추론이다, 학습이아니라 추론이다) How to USE? NVIDIA GPU가 있는 로컬환경 혹은 Docker를 통해 설치한다. Jetson은 ARM 기반 아키텍쳐 GPU를 사용하는데, 설치는 간단하다 Jetson nano,Xavier,Orin등 Jetson 계열에서는 기본 설치패키치 JETPACK을 설치하면 자동으로 설치 된다. 또한 , 기본 NVIDIA 제조사의 GPU 를 가지고 있다면 충분히 사용가능하다. 하지만 Driver Versio..

4주차 인턴 중, 쿠버네티스 이외의 새로운 업무를 추가로 진행하게 되어 지식을 학습하며 작성한 글입니다. ONNX 란? Open Neural Network Exchange 이며 딥러닝 모델의 상호 운용성을 위해 개발된 오픈 소스 포맷형식이다. 즉, 다양한 딥러닝 프레임워크 (Tensorflow, Pytorch, Tensor RT) 사이에서 모델을 공유하기 위한 중간 포맷이다. ONNX는 딥러닝 모델의 생태계를 보다 개방적이고 협력적으로 만들어주는 중요한 역할을 한다. 진행 과정 첫 번째 PyTorch 모델과 Sample input 을 인자로 하여, torch.onnx.export 함수를 호출한다 PyTorch 의 JIT 컴파일러를 통해서, Trace 혹은 Script 를 생성한다. PyTorch 모델의 ..