같은 모델을 쓴다면 처리 속도의 차이가 있겠지만, 서버와 온디바이스는 다른 모델을 사용할 것 같습니다.

설정하기 나름 아닐까요?
부족한 npu 속도를 메꾸기 위해 퀄리티를 포기할 수도 있으니까요

같은 파라미터, 같은 입력, 같은 랜덤시드라면 같은값이 나와야 합니다. 딥러닝이라고 해도 그 실체는 행렬곱 연산이라서, 값이 같은 두 행렬의 곱이 연산할 때 마다 다른 결과가 나온다는것은 말이 안되니까요.

다만 대부분 온디바이스에 들어가있는 모델은 서버에서 동작하는 모델보다 작은 파라미터가 들어있는 모델이기 때문에 파라미터가 다르고, 시스템이나 프레임워크마다 랜덤한 시드가 다르며, temperature라고 해서 같은 다른 모든 조건이 같을지라도 일부러 랜덤성을 추가해서 다양한 답변이 나오게 조정할 수도 있습니다. 

또한 NPU를 사용한다면 (NPU 대부분이) 실수->정수로 양자화 (quantization)하는 과정이 추가되기 때문에 연산과정의 정밀도 차이로 인하여, 원래 실수로 연산했을때와 다른 결과가 나오는 경우가 있습니다. 

보통 큰 모델을 학습 시킨 이후, 경량화 하는 방식으로 on device model을 만들어요.

이 경량화 과정에서 NPU와 같은 전용 반도체에서 빠르게 실행하도록 최적화하는데, 반도체에 따라 최적 precision이 바뀌어 결과물에 영향을 줄 수 있어요.

속도를 포기한다면 차이가 없어요.