Les documents manquent pour retracer l'historique des églises protestantes à Rayside-Balfour. Celles-ci ont presque disparu du Canton au début du XXe siècle car le nombre des fidèles n'est plus assez élevé pour faire vivre une paroisse. De plus, ces églises sont souvent desservies par des pasteurs itinérants qui couvrent un vaste territoire.

Selon le recensement, il y a une église presbytérienne sur la rue Yonge à Chelmsford en 1901.  Cette église aurait été construite sous le ministère du Révérend E. J Pelletier en 1890.  À Larchwood le pasteur itinérant utilise l'école pour les services presbytériens jusqu'en 1925, date de la formation de l'Église unie du Canada.

Le même recensement indique à Chelmsford la présence d'une église méthodiste sur la rue O'Connor en 1901.  Celle-ci aurait probablement été construite sous le ministère du pasteur itinérant qui dessert les fidèles méthodistes  de Cartier, Chelmsford, et Larchwood.  Par contre, le cadastre des terres indique que l'Église méthodiste achète une propriété sur la rue William en 1908.

À Larchwood, la première église est l'église méthodiste construite en 1903.  Celle-ci ainsi que celle de Chelmsford sont vendues en 1919, le nombre de fidèle ne permettant plus de les entretenir.  Les services méthodistes continuent dans la salle Orange Hall jusqu'à la formation de l'Église unie. 

De 1925 à 1931, ce sont les ministres de l'Église unie qui offrent les services religieux à la salle Orange à Larchwood et aux domiciles des fidèles à Chelmsford et dans les autres villages de leur circuit.  En 1932, la congrégation de Larchwood achète l'ancienne école de Vermilion Lake et la déménage sur un terrain de Larchwood Road. Le bâtiment est agrandi et réaménagé en église; c'est la première église Larchwood Memorial.

Vers la fin des années 30, les protestants de Chelmsford se regroupent. Les classes du dimanche promues par l'Église unie et l'Église anglicane reprennent en 1953.  L'année suivante, l'Église unie envoie le Révérend Bernard Warren et son épouse exercer à Chelmsford et Larchwood. Les services des deux églises se tiennent au domicile de paroissiens ou dans diverses salles pendant quelques mois. Puis l'église Anglicane se détache pour ne desservir qu'Azilda.

En 1956, la congrégation de Chelmsford décide de construire une église.  De généreuses contributions de l'église St. Andrew de Sudbury et de paroissiens, ainsi que le travail bénévole des membres et d'amis dans la communauté permettent de construire rapidement et de consacrer l'église St-Stephen le 8 décembre 1957.

Quelques années plus tard en 1965, c'est la congrégation de Larchwood qui entreprend la construction d'une nouvelle église Memorial.  Les fidèles font eux-même à titre bénévole tout le travail intérieur, y comprit le chauffage, l'électricité, la plomberie et la finition. En plus du sanctuaire pour les services religieux, la structure comprend une aile de deux étages pour les classes du dimanche et les activités de la congrégation.

Information compilée à partir de Larchwood a local history, Larchwood Memorial United Church, et Chelmsford 1883 - 1983.