ご利用のグラフィックスカードとの相性の問題と推測されます。
本来このような場合、
>> opengl software
と実行して、OS側ではなく、 MATLAB 側で同梱される OpenGL を利用して解決することができますが、ボリュームビューワについては、Software OpenGL がアプリケーションの最小要件を満たしておらず、起動することができません。
OS 側の OpenGL を利用するしか方法がありません。
グラフィックスカードのドライバーをアップデートすることより問題が改善された例もありますので、一度ドライバーの更新をお試し頂けますでしょうか?