Tương truyền, Ngô Xương Xí sinh ra trong khoảng những năm 945- 950, ông là 1 trong 12 sứ quân thời Hậu Ngô vương. Ông cũng chính là cháu nội của Ngô Quyền, một bậc anh hùng tuấn kiệt được sử sách ghi chép là người “khôi ngô, mắt sáng như chớp, dáng đi thong thả như hổ, có trí dũng, sức có thể nâng được vạc”.
Nhân dân nơi đây xem Ngô Xương Xí là một vị vua, vị sứ giả thường đi tuần du khắp nơi trên vùng đất Châu Hoan để bảo vệ cuộc sống cho mọi người dân nơi đây. Chính vì vậy, nhân dân nơi đây nhớ ơn và lập đền thờ phụng. Sự xuất hiện của ngôi đền thờ Ngô Xương Xí ở đất Hoan Châu khẳng định tầm ảnh hưởng rộng lớn của sứ quân Ngô Xương Xí trên vùng đất Châu Ái, Châu Hoan, (tức Thanh Hóa, Nghệ An ngày nay).
Theo sách “Lịch sử Đảng bộ và nhân dân xã Tân Sơn, huyện Đô Lương” và lời kể của những người cao tuổi trong làng: Trải qua các thời kỳ lịch sử, đền Khai Long đã có nhiều đóng góp cho công cuộc xây dựng và bảo vệ đất nước. Từ năm 1946 - 1947, hưởng ứng phong trào bình dân học vụ, nhân dân xã Duy Tân (nay là xã Tân Sơn) đã tổ chức nhiều lớp học tại đền Khai Long.
Năm 1949, đền Khai Long là nơi diễn ra đại hội Đảng của xã Duy Tân và là nơi mở các lớp đào tạo cán bộ của huyện lấy tên là trường Lê Hồng Phong. Từ năm 1953 - 1958, chi bộ Đảng Sự thật của xã Duy Tân tổ chức sinh hoạt tại đền. Năm 1957, đền Khai Long là địa điểm bán công phiếu kháng chiến của Chính phủ Việt Nam.
Đền Khai Long là ngôi đền có quy mô lớn và rất linh thiêng. Đây là nơi sinh hoạt văn hóa tâm linh của nhân dân địa phương và những vùng phụ cận. Hàng năm, tại đền diễn ra nhiều kỳ lễ trọng như: Lễ khai hạ, lễ Thượng nguyên, Trung nguyên, lễ Hạ nguyên, lễ Thường tân… nhưng lớn nhất là lễ hội của làng diễn ra vào ngày 7 tháng Giêng âm lịch. Lễ hội được tổ chức 3 năm 1 lần theo chu kỳ vào những năm Tý - Ngọ - Mão - Dậu. Đây là lễ hội của làng được duy trì từ xa xưa.
Trải qua bao biến thiên lịch sử, đền đã bị dỡ bỏ. Năm 2014, chính quyền địa phương, nhân dân và các nhà hảo tâm đã đóng góp công đức phục hồi, tôn tạo lại di tích. Tháng 12/2017, đền Khai Long được UBND tỉnh công nhận di tích lịch sử cấp tỉnh.
Hiện nay, chính quyền và nhân dân địa phương đang từng bước khôi phục lại các hoạt động lễ hội tại di tích nhằm phục vụ nhu cầu hưởng thụ văn hóa tâm linh của nhân dân và du khách./.