MATLAB の mex コマンドは、matlab_mex という別名で提供されています。
この別名のコマンドを利用して下さい。別名にしている理由は、TeX Live パッケージの mex コマンドと名前が衝突しているためです。

なお、本 FAQ は 2023年12月時点では、 Ubuntu 機でのみ該当する事象です。