VDIに接続するとデフォルトでCapsLockがオフになるため、CapsLockをオンにして接続するとオン/オフが入れ替わります。CapsLockをオフにしてからVDIに接続してください。