Il suffit de faire figurer les `\multirow{⟨n⟩}{*}{...}`, non pas sur la première, mais sur la ⟨n⟩e ⟨n⟩<sup>e</sup> (dernière) ligne concernée en remplaçant alors `⟨n⟩` par `-⟨n⟩` : `\multirow{-⟨n⟩}{*}{...}` :
\documentclass{article}
\usepackage[table]{xcolor}
\usepackage{multirow}
\begin{document}
\rowcolors{1}{green!25}{yellow!50}
\begin{tabular}{c}
\hline
\\
\multirow{-2}{*}{Coucou} \\
\hline
\end{tabular}
\end{document}
donne :
![alt text][1]
[1]: http://texnique.fr:80/osqa/upfiles/test_cAqrip3.png