Деревянный храм апп. Петра и Павла в Рыбной слободе упоминался в книгах патриаршего казённого приказа со ссылкой на описи Фёдора Беречинского и Алексея Копнина 1628 года. Его сменил храм 1675 года. По местному преданию под храмом в склепах были похоронены "три сестры-царевны". Иногда их называли "особами царского или княжеского рода".
В 1888 году, когда И.И. Левитан с друзьями отправился в путешествие по Волге в поисках места для этюдов, его привлекла именно эта деревянная Петропавловская церковь, которая стояла на горе в окружении кладбища. Однажды летним вечером  1888 года Левитан поднялся на гору и на одном дыхании написал этюд церкви в свете заката. Этюд известен под названием «Деревянная церковь в Плёсе при последних лучах солнца». Его подруге С.П. Кувшинниковой захотелось послушать службу в этом храме. Софья Петровна впоследствии опубликовала впечатления об этой службе. Вскоре Левитан решил написать этюд интерьера храма. К нему присоединилась Кувшинникова. Отец Яков отомкнул притвор и оставил их одних. Исаак Ильич написал этюды иконостаса, Царских врат. Сейчас этюд «Внутри Петропавловской церкви в Плёсе на Волге» хранится в Третьяковской галерее. И.И. Левитан провёл в Плёсе три летних сезона и создал здесь многие знаменитые произведения, которые принесли ему славу. В 1893–1894 годах этюды, написанные с деревянного Петропавловского храма, были использованы И.И. Левитаном при создании картины «Над вечным покоем». Работал художник над этим полотном в Тверской губернии, под Вышним Волочком, близ озера Удомля.