Une erreur avec yathesis : crochet en mode math dans \section

Le problème semble venir de ce que vous n'ayez choisi aucun des styles d'en-tête/pieds-de-page définis par la classe. Comme la classe repose sur la classe book, c'est le formatage de celle-ci qui est appliqué. Or yathesis utilise titleps (qui vient avec titlesec). De là, je suppose, un conflit.

En indiquant juste avant \mainmatter, c'est le style homonyme qui est appliqué et tout fonctionne parfaitement. Les en-tête ne sont d'ailleurs pas dans cette horrible majuscule penchée.

Au passage : si l'on met des formyules mathématiques dans un titre se section, qui est en gras, la moindre des choses, me semble-t-il, est que la formule soit elle aussi en gras. La classe ne semble pas avoir prévu cette situation. On peut y remédier avec la commande \sectionfont de l'extension sectsty.

Ajout: Une autre solution (pour autant que l'exemple fourni soit représentatif) serait d'associer ( et ] par l'intermédiairede la commande \DeclarePairedDelimiter de mathtools. Voir le code modifié, qui groupe les deux façons de faire:

\documentclass{yathesis}
\usepackage{sectsty}
\sectionfont{\boldmath}
\usepackage{mathtools} 
\DeclarePairedDelimiter\pket(]

\begin{document}

\setcounter{chapter}{1}
\mainmatter
    \section{Blabla $ \pket{x} $ {$ (x] $} test}

\end{document}