Theo truyền thuyết, chùa có niên đại có từ thế kỷ XI, thời nhà Lý. Hồ sơ của Ban quản lý di tích tỉnh Nghệ An ghi nhận, trước năm 1941, chùa quay lưng về phía sông Lam, mặt nhìn ra hướng Bắc. Đến năm 1941, chùa mới được dịch chuyển quay mặt về hướng Nam. Năm 1995, chùa được tu sửa, đảo ngói, thay thế, đắp vá những chi tiết bị hỏng. Năm 2002, nhân dân trong vùng đã cùng đóng góp dựng xây thêm nhà hữu vu để có không gian đón khách.
Tương truyền, trong một lần Lý Nhật Quang đi đánh giặc Lão Qua không may bị thương, cưỡi ngựa về đến đất Bạch Đường, thôn Thượng Thọ có bà tiên ẩn hình là cô hàng nước hiện ra báo với ông rằng: “Quả Sơn là nơi linh địa, huyết thực muôn đời có thể hóa thân ở xứ ấy”. Nghe lời cô hàng nước, Lý Nhật Quang về đến đất Quả Sơn thì hóa. Quân dân vô cùng thương tiếc lập đền thờ tại đây, gọi là đền Quả Sơn, quanh năm hương khói.
Sau khi chỉ đất thiêng cho Uy Minh Vương Lý Nhật Quang và trừng trị tên vô lại, cô hàng nước cũng biến mất. Qua một đêm, dân xóm chài chỉ còn thấy miếng đất bỏ không, quán và người chủ quán không còn nữa. Đời sau, dựa theo sự tích này, dân làng sở tại cho tạc bức tượng Phật Bà mười tay cưỡi lên đầu một tên đàn ông hẳn là để làm gương cho bọn gian dâm. Tượng Phật Bà được đặt trong một ngôi chùa, gọi là “Tiên Tích Tự” dựng ngay trên lều quán cũ. Dân làng gọi nôm na là Chùa Bà Bụt cho đến ngày nay vậy.
Tượng Phật Bà với khuôn mặt dịu hiền, đức độ. Cánh tay với nhiều tư thế nhưng vẫn thể hiện được sự thon thả mềm mại. Trong 10 cánh tay có 8 cánh tay giơ lên cao, 2 cánh tay còn lại bắt quyết trước bụng. Chân tượng khoanh tròn trên đài sen. Đội đài sen là một đầu quỷ hình người đàn ông hung dữ, 2 tay trụ chống đài sen. Điều này thể hiện sự quy thuận của cái ác và cũng đúng như câu chuyện kể trong truyền thuyết về sự tích ngôi chùa. Từ hình dáng đến các chi tiết chạm trổ tượng Phật toát lên vẻ thánh thiện, thanh cao và đức độ. Cũng chính sự thánh thiện đó đã khiến cho các Phật tử mỗi khi đến chùa, tâm hồn bỗng trở nên nhẹ nhàng và thư thái.
Hàng năm cứ vào ngày 20 - 21 tháng Giêng âm lịch, nhân dân trong vùng và du khách về chùa rất đông. Nơi đây, diễn ra một tục lệ mang đậm bản sắc văn hóa, người xưa gọi là lễ “Hạ Linh”, tức là lễ tạ ơn bà Bụt. Buổi lễ tạ diễn ra trang nghiêm. Sau khi đoàn rước bộ và đoàn rước thủy làm lễ xuất thần tại Đền Quả Sơn thì rước di tượng Lý Nhật Quang về Chùa Bà Bụt để làm lễ tạ ơn. Lễ tạ diễn ra trước sự chứng kiến của mọi người dân, các vị bô lão chức sắc trong làng.
Cũng vì thế mà từ xa xưa, người dân Đô Lương đã cho rằng nếu không có Bà Bụt thì không có Đền Quả Sơn. Điều này cho thấy mối quan hệ khăng khít, hài hòa giữa hai di tích mang đậm giá trị lịch sử của vùng đất này./.