このAPI関数は廃止されています。MATLAB 5以降ではサポートされません。この関数を既存のコード内で使う必要がある場合は、mexスクリプトの-V4オプションを使ってください。.
mex
-V4
if(mxIsFull(prhs[0]))
if(!mxIsSparse(prhs[0]))
参考
mxIsSparse