Bien qu’aucun texte ne le confirme, il semble que l’Église presbytérienne s’implanta à Rawdon vers 1832. On n’y retrouve cependant aucune trace d’un temple presbytérien, si ce n’est cette ancienne baraque militaire située sur la rue Church, qui servit de lieu de culte après le départ des militaires.
L’Église connut son lot de difficultés. Ainsi, vers 1880, elle dut cesser ses activités religieuses, faute de fidèles. Quelques années plus tard, une secte religieuse fondée en Angleterre vers 1830, les Plymouth, prit la relève. Comme la précédente, elle connut elle aussi des difficultés d’organisation et s’éteignit d’elle-même vers 1900.
En 1916, retour de l’Église presbytérienne qui rouvrit ses portes au même endroit grâce aux bons offices du révérend Robert E. Welsh. Huit ans plus tard toutefois, soit en 1924, l’Église presbytérienne s’éteignit définitivement lorsqu’elle fusionna avec deux autres Églises pour former l’ Église unie du Canada.