loadlibrary コマンドは動的ライブラリ(Dynamic Link Library)である .dll ファイルのみロード可能となっており、静的ライブラリ(Static Link Library)である .lib ファイルはサポートしていません。
https://www.mathworks.com/help/matlab/ref/loadlibrary.html
動的ライブラリはそれを使用するアプリケーションにより適宜ロードされ使用されます。MATLAB では loadlibrary コマンドを使用して必要な時に .dll ファイルをロードして使用します。
一方、静的ライブラリはそれを使用するアプリケーションに同梱された状態で使用されるため、アプリケーションと一緒にコンパイルされる必要があります。動的にロードして使用するものではありませんので、loadlibraryでは対応できません。
もし、.lib ファイルのみ存在する場合、それを使用する .dll ファイルを作成することにより、.lib の内容をMATLAB で使用することが可能です。
