Avec l'option `nomath` :
\documentclass{article}
\usepackage[upright]{fourier}
\usepackage[nomath]{lmodern}
\begin{document}
x y z
\[
x y z
\]
\end{document}\end{document}
![alt text][1]
[1]: https://texnique.fr/osqa/upfiles/Screenshot_2022-05-10_at_10.45.04.png