L’histoire de l’église de Rhuis remonte sans doute aux origines du christianisme en Gaule avec une première église qui pourrait avoir été consacrée vers 386 aux saints Gervais et Protais, martyrs du Ier siècle. Il ne subsiste aucune trace de cette première fondation chrétienne aux structures en bois.
Des fouilles archéologiques ont mis au jour un cimetière mérovingien sur la colline occupée par l’église et, jadis, par un oppidum gallo-romain. À l’époque carolingienne, une église en bois – comme c’était alors l’habitude – s’érigeait à l’emplacement de l’actuelle église.
C’est vers 1050 que la première construction en pierre fut envisagée, en remplacement de la bâtisse carolingienne en bois. Cette église préromane, de plan presque carré, comprenait une simple nef basilicale avec des bas-côté (donc la nef centrale actuelle) et un chœur à chevet plat dont il ne subsiste que le mur nord.
Toutefois, dès la fin du XIe siècle (v. 1085/1090), des travaux d'embellissement sont entrepris et qui vont donner à l'église son caractère roman :
- le portail à gable en saillie, le plus ancien exemple connu au nord de la Loire ;
- le clocher à trois étages couronné d'une pyramide en pierre (un deuxième clocher fut commencé puis abandonné) ;
- l’abside en cul-de-four prolongeant le chœur originel.
La base du clocher sud, après l’abandon du projet de ce deuxième clocher, fut transformée en chapelle. C’est alors que fut construite la voûte d'ogive ; avant 1150 et donc un des plus anciens témoignages. Enfin, une chapelle fut édifiée au nord, à l'endroit de l'actuel sacristie, dont il ne reste que la base.
De 1964 à 1970, des fouilles archéologiques (sondages des structures) et des travaux de restauration ont rendu à l'édifice son aspect roman. Pour cela, et grâce au mécénat du baron Bich, les traces des remaniements du XVIIIe et surtout du XIXe siècle (des fenêtres avaient été percées, une fausse voûte en berceau cachait la charpente, les murs furent enduits et peints en faux appareil) furent gommés. L’église de Rhuis a retrouvé son atmosphère d’origine, telle que vous la visitez maintenant.