Le problème semble venir de ce que vous n'ayez choisi aucun des styles d'en-tête/pieds-de-page définis par la classe. Comme la classe repose sur la classe book, c'est le formatage de celle-ci qui est appliqué. Or yathesis utilise `titleps` (qui vient avec `titlesec`). De là, je suppose, un conflit.
En indiquant juste avant `\mainmatter`, c'est le style homonyme qui est appliqué et tout fonctionne parfaitement. Les en-tête ne sont d'ailleurs pas dans cette horrible majuscule penchée.
Au passage : si l'on met des formyules mathématiques dans un titre se section, qui est engras, en gras, la moindre des choses, me semble-t-il, est que la formule soit elle aussi en gras. La classe ne semble pas avoir prévu cette situation. On peut y remédier avec la commande `\sectionfont` de l'extension `sectsty`.
Voici donc
**Ajout:**
Une autre solution (pour autant que l'exemple fourni soit représentatif) serait d'associer `(` et `]` par l'intermédiairede la commande `\DeclarePairedDelimiter` de `mathtools`. Voir le code :
modifié, qui groupe les deux façons de faire:
\documentclass{yathesis}
\usepackage{sectsty}
\sectionfont{\boldmath}
\usepackage{mathtools}
\DeclarePairedDelimiter\pket(]
\begin{document}
\setcounter{chapter}{1}
\mainmatter
\section{Blabla \ensuremath{( x ]} $ \pket{x} $ {$ (x] $} test}
\end{document}
<img src="http://texnique.fr:80/osqa/upfiles/pbyathesis_JTH8QUC.png" style="width: 100%;"/>![alt text][1]
[1]: http://texnique.fr:80/osqa/upfiles/pbyathesis_lfYYc4N.png