MATLABのmexコマンドを実行できない。

MATLABのmexコマンドは、matlab_mexという別名で提供されています。
この別名のコマンドを利用して下さい。別名にしている理由は、TeX Liveパッケージのmexコマンドと名前が衝突しているためです。