La commande `\titleformat` de l'extension *titlesec* est faite pour ça.
La définition standard est :
\titleformat{\paragraph}[<runin>]
{\normalfont\normalsize\bfseries}{\theparagraph}{1em}{}
Il suffit de supprimer ou de remplacer [<runin>] (titre sur la même ligne que le début du texte) par un autre format: [display] pour aller à la ligne avec un espace de paragraphe, [leftmargin] pour que le titre soit dans la marge, [drop] pour que le texte « coule » autour du titre (un peu comme avec l'environnement `\wrapfigure`) etc.
La documentation de *titlesec*, accessible par la commande `texdoc titlesec`, se termine par une série d'exemples très explicites.