Au lieu-même où St Jaoua fut enterré, son tombeau aurait été érigé. Autour du dit tombeau, une première chapelle (en bois) aurait vu le jour.
Au XIè siècle, une chapelle de style roman fut ensuite érigée.
La chapelle actuelle a dû être finie au cours du XVIè siècle. Elle est de type long et bas, irrégulier et pittoresque. Les bâtisseurs auraient utilisé les vestiges de l'église romane.
Le site a été restauré et agrandie au XIV, XV et XVIè siècles.
Ce sont les différents styles de construction et les pierres granitiques de formes et de tailles différentes qui permettent de justifier les étapes successives. Ainsi on peut certifier que l'élévation des murs ont été échelonnés sur deux siècles.