지난 두달 간, 인턴(연구연수생)을 하면서 인상 깊었던 디바이스에 대해 소개 및 관련 자료를 정리하려고한다. 나는 실무에서 프로젝트의 업무를 하기 위해 Jetson nano를 대여할 수 있었고 완수하였다. Jetson Nano 란 무엇인가? NVIDIA에서 개발한 소형 컴퓨터 모듈이다. 저전력 시스템에서 고성능 연산을 수행할 수 있도록 설계 되었고, AI & 머신러닝에 적합한 디바이스이다. Jetson Nano 의 사양은? CPU: 64비트 Quad-Core ARM A57 GPU: 128-core NVIDIA Maxwell architecture-based GPU 메모리: 4GB LPDDR4 스토리지: microSD 카드 슬롯 비디오 인코딩/디코딩 기능: 4K @ 30 | 4x 1080p @30 |9x7..

Tensor RT란? NVIDIA 에서 제작했으며, 학습된 Deep Learning 모델을 최적화하여 NVIDIA GPU 상에서의 Inference 속도를 수배 ~ 수십배 까지 향상 시키는 모델 최적화 엔진이다. 가장 핵심포인트는 고성능 딥러닝 추론 라이브러리이다. (추론이다, 학습이아니라 추론이다) How to USE? NVIDIA GPU가 있는 로컬환경 혹은 Docker를 통해 설치한다. Jetson은 ARM 기반 아키텍쳐 GPU를 사용하는데, 설치는 간단하다 Jetson nano,Xavier,Orin등 Jetson 계열에서는 기본 설치패키치 JETPACK을 설치하면 자동으로 설치 된다. 또한 , 기본 NVIDIA 제조사의 GPU 를 가지고 있다면 충분히 사용가능하다. 하지만 Driver Versio..

4주차 인턴 중, 쿠버네티스 이외의 새로운 업무를 추가로 진행하게 되어 지식을 학습하며 작성한 글입니다. ONNX 란? Open Neural Network Exchange 이며 딥러닝 모델의 상호 운용성을 위해 개발된 오픈 소스 포맷형식이다. 즉, 다양한 딥러닝 프레임워크 (Tensorflow, Pytorch, Tensor RT) 사이에서 모델을 공유하기 위한 중간 포맷이다. ONNX는 딥러닝 모델의 생태계를 보다 개방적이고 협력적으로 만들어주는 중요한 역할을 한다. 진행 과정 첫 번째 PyTorch 모델과 Sample input 을 인자로 하여, torch.onnx.export 함수를 호출한다 PyTorch 의 JIT 컴파일러를 통해서, Trace 혹은 Script 를 생성한다. PyTorch 모델의 ..