Năm lên 9 tuổi mồ côi cả cha lẫn mẹ, Nguyễn Xí theo anh đến ở làm gia nô cho cụ Lê Khoáng (thân phụ của đức Lê Lợi), một hào trưởng giàu có của vùng núi xứ Thanh. Ông rất thông minh, nhanh nhẹn, tỏ rõ người tài, có hùng chí. Vì thế, Lê Lợi rất quý trọng, giao cho Nguyễn Xí chăm sóc đàn chó săn hơn một trăm con.
Sách Đại Việt thông sử của Lê Quý Đôn chép rằng: “Vua sai Nguyễn Xí nuôi đàn chó săn gồm hơn 100 con. Sớm chiều chia cơm cho chó ăn, ông đều dùng chuông làm hiệu lệnh. Bầy chó theo sự điều khiển, huấn luyện của ông, tiến thoái răm rắp".
Trong bước đường chiến chinh của cuộc khởi nghĩa Lam Sơn, đàn chó của Nguyễn Xí trở thành đội quân đặc biệt. Do được huấn luyện chu đáo, điều khiển bằng nhạc hiệu nên từ ăn, ngủ, tấn công, chúng đều theo hiệu lệnh.
Những lúc nghĩa quân bị vây hãm, hết lương thực, đàn chó đi săn thú, bắt chim về làm thức ăn. Khi xung trận, Nguyễn Xí điều khiển bầy chó lăn xả vào trận mạc làm quân giặc hoảng sợ, kinh hồn bạt vía. Tên tướng giặc Minh là Mã Kỳ, mỗi khi nghe đến đội quân khuyển của Tướng quốc Nguyễn Xí thì hết sức kinh hãi.
Trong giai đoạn cuối năm 1426 đến năm 1427 là thời kỳ Bộ tổng chỉ huy nghĩa quân Lam Sơn mở các cuộc tổng tấn công quyết chiến chiến lược đại quy mô trên toàn tuyến, công thành, phá đồn, diệt viện, vì vậy, nhiều khi vũ khí không sản xuất kịp để cung cấp, bổ sung cho các cánh quân chủ lực, nhất là hàng vạn mũi tên bọc đồng.
Vì vậy, có lần Tướng quốc Nguyễn Xí đã nghĩ ra kế “mượn tên giặc”. Ngài cho buộc vào cổ đàn chó những chiếc đạc ngựa, khi chó chạy sẽ phát ra tiếng kêu như kỵ mã. Ban đêm, ông dẫn quân đến vây trại giặc Minh rồi cho đánh trống reo hò ầm ĩ, truy phong cho đàn khuyển chạy vòng quanh trại giặc.
Quân Minh nghe tiếng đạc ngựa, lại thấy tiếng trống thúc, quân reo dậy trời rất hốt hoảng tưởng bị tấn công, nhưng không rõ binh lực thế nào trong đêm tối hư hư, thực thực nên không dám ra đánh. Chúng đành dùng cung nỏ từ trong trại bắn ra như mưa. Cứ làm như vậy đến gần sáng, nghĩa quân thu nhặt được hàng vạn mũi tên.
Nghĩa quân Lam Sơn và Nhân dân hết lời ca ngợi Nguyễn Xí, xem việc lập kế lấy tên giặc không kém gì mưu của Khổng Minh dùng người rơm “mượn tên” của quân Tào trong trận Xích Bích thời Tam Quốc.
Trong 10 năm kháng chiến gian khổ, Nguyễn Xí cùng đàn chó của mình tham gia nhiều trận đánh quan trọng như cuộc vây hãm thành Đông Quan, hạ thành Xương Giang, hay như chiến dịch tiêu diệt và bắt sống gần 10 vạn quân Minh sang tăng viện tại Chi Lăng năm Đinh Mùi (1427)...
Khi sự nghiệp kháng chiến thành công, Lê Lợi lên ngôi Vua (Lê Thái Tổ), phong cho Nguyễn Xí làm Long Hổ thượng tướng quân, tước Huyện hầu, là bậc khai quốc công thần của triều Hậu Lê và được ban quốc tính (họ Vua).
Năm 1433 trước khi chết, Vua Lê Thái Tổ (Lê Lợi) đã để lại di chiếu cho Nguyễn Xí phò tá Thái tử Lê Nguyên Long 11 tuổi lên nối ngôi (Vua Lê Thái Tông). Suốt 8 năm ở bên cạnh Vua làm phụ nhiếp triều chính, ngài đã hoàn thành xuất sắc di nguyện, khuông phò xã tắc, hộ quốc an dân, qua 2 niên hiệu Thái Bình, Đại Bảo.
Năm 1442, Vua Lê Thái Tông đột ngột băng hà, hoàng hậu và các đại thần lại tiến cử Thái bảo Nguyễn Xí (chức thứ 3 trong Tam thái) giúp rập ấu chúa Lê Băng Cơ mới hơn 1 tuổi lên nối ngôi (Vua Lê Nhân Tông).
Tháng 6 năm 1460, Nguyễn Xí cầm đầu nhóm các đại thần làm cuộc phản đảo chính lật đổ Lê Nghi Dân, cứu vương triều nhà Lê đang chìm trong loạn lạc và oan khuất. Đưa Hoàng tử Lê Tư Thành (Hoàng tử thứ tư của Vua Lê Thái Tông) lên ngôi Hoàng đế, hiệu là Lê Thánh Tông (thuần Hoàng đế). Mở ra triều đại cực thịnh, phát triển trong lịch sử các triều đại phong kiến Việt Nam…
Thái sư Cương Quốc công Nguyễn Xí làm quan trải qua 4 đời vua, nắm giữ những chức vụ quan trọng của triều đình như Thái bảo, Thái phó bình chương quân quốc trọng sự (Tể tướng), Nhập nội hữu tướng quốc (Tể tướng thứ nhất), đến Thái úy, tước Quỳ quận công.
Năm Ất Dậu (1465), ông lâm bệnh rồi mất, thọ 69 tuổi, triều đình truy phong là Thái sư Cương Quốc công Nguyễn Xí, thượng, thượng, thượng đẳng phúc thần.
Thái sư Cương Quốc công Nguyễn Xí là bậc quân thần 2 lần khai quốc, ông là người văn, võ song toàn, một lòng vì nước, vì dân.
Tưởng nhớ, tri ân công lao Thái sư Cương Quốc công Nguyễn Xí, năm 1467 dòng họ và nhân dân đã xây dựng ngôi đền mang tên ông trên mảnh đất quê hương ở xã Nghi Hợp (nay là Khánh Hợp), huyện Nghi Lộc. Công trình có giá trị kiến trúc, nghệ thuật cao, được công nhận Di sản văn hóa lịch sử cấp Quốc gia năm 1991. Đặc biệt, vào ngày 31/12/2020, đền thờ Thái sư Cương Quốc công Nguyễn Xí được Nhà nước công nhận là Di tích Quốc gia đặc biệt. Hàng năm vào các ngày 29, 30 tháng Giêng và mồng 1 tháng 2 âm lịch, nhân dân trong vùng đều nô nức tham gia lễ hội đền.
Đánh giá về Thái sư Cương Quốc công Nguyễn Xí, Vua Lê Thánh Tông từng viết: “…Khí độ trầm hùng, tính người cương đại. Giúp Cao Hoàng (Vua Lê Lợi) khi mở nước trăm trận gian nan, phò Tiên khảo (Vua Lê Thái Tông, Lê Nhân Tông) giữ giang sơn, hết lòng giúp rập; ra ngoài thì trọn chức tướng võ, vào trong thì vẹn phận tướng văn, nghĩa tôi con thật khó có ai sánh kịp… Các quan đều tưởng mộ phong thái, bốn biển đều ngưỡng vọng uy danh…”.