После ухода в отставку с поста директора Академии наук граф Орлов начал обустройство своих имений.

При нем в селе Талеж возвели новый каменный храм в честь Рождества Пресвятой Богородицы. Храм был возведен в 1792 г. крепостным архитектором графа Иваном Бабакиным по проекту московского архитектора Е. С. Назарова.

В 1793 г. церковь была освящена во имя Рождества Богородицы в память о разобранной одноименной церкви в соседней деревне Горках. После этого, в 1794 г., была разобрана старая деревянная церковь села – во имя святого благоверного князя Владимира, а материал был употреблен на обжиг кирпичей для церковной ограды.

Иконы для новой церкви были написаны живописцем Красовским. Кроме написанных образов были перенесены иконы, а также и церковная утварь из упомянутых разобранных церквей. Граф не только оплатил все работы, но и принимал активное участие как в самой постройке, так и в приобретении для церкви дополнительной утвари. По преданию, именно граф подарил церкви крест с мощами св. блгв. князя Владимира, ставший с тех пор основной святыней храма и собиравший ко дню памяти крестителя Руси большое число паломников.