how to solve pytorch inference slow problem on windows 10

간단하게 이야기하자면

모델을 불러오는 모듈 내에서

torch.backends.cudnn.benchmark=True 를 선언하면 된다.

 

그러나 이것이 어느 환경에서 작용하는지 장담할 수 없다.

 

환경은 Windows10 + pytorch 1.8(nightly) + cuda 11.0 + cuDNN 80.04 의 조합이 사용중이다.

 

나는 Semantic Segmentation 모델을 적용한 어플리케이션을 windows 10에서 적용할 때 inference 속도가 최대 5배까지 감소하는 현상에 대해서 여러 해결 방안을 마구잡이로 적용하고 있었던 참이다.

 

어플리케이션이 구동되는 흐름은 opencv에서 영상을 읽어들여 segmentation을 하고 이후에 후처리를 진행하는 식이다.

fps는 3프레임 향상되었다.

 

이후 rtsp를 이용해 영상을 불러오고, gstreamer를 적용해 빌드한 opencv모듈을 적용할 것이다. 

 

재택중인데 rtsp 연결하려면 이더넷 끊어야 하는데 아 이걸 어쩐다..