Thân sinh của Nguyễn Kiệm là ông Nguyễn Tình, một nhà nho thi đậu nhì trường, về nhà bốc thuốc chữa bệnh. Mẹ là bà Phan Thị Quảng, quê ở Làng Bích Trận (Diễn Thái, Diễn Châu).
Gia đình Nguyễn Kiệm ba đời làm nghề bốc thuốc chữa bệnh cứu người. Cụ thân sinh Nguyễn Kiệm là thầy Nguyễn Tình có bài thuốc gia truyền chữa bệnh hen suyễn. Ông không chỉ là thầy thuốc giỏi mà còn nổi tiếng về tấm lòng yêu thương người nghèo. Có năm mất mùa, ông đã biếu làng xã 8 tạ gạo để phát chẩn cho người nghèo. Trong nhà ông treo đôi câu đối:
Đau tiếc thân, đỡ tiếc của, đừng bạc mới hay;
Của là gạch, ngãi là vàng, không tiền cũng cắt.
Nguyễn Kiệm lớn lên trong một gia đình nho giáo, ngay từ nhỏ cụ thân sinh đã mời thầy Hàn Thái (cử nhân Thái Văn Tố) về dạy học tại nhà. Cụ Hàn Thái vừa dạy chữ, vừa dạy người. Qua những năm học với thầy Hàn Thái, Nguyễn Kiệm được thầy kể cho nghe chuyện những nhà khoa bảng trong vùng vừa có tài văn chương vừa có lòng yêu nước đã đôi phen khởi nghĩa đánh Tây như cụ Nghè Cồn Sắt (Tiến sỹ Nguyễn Xuân Ôn), cụ Phó bảng Lê Doãn Nhã, cụ Cử nhân Chu Trạc.
Từ nhỏ, Nguyễn Kiệm đã sớm có ý thức học để làm những việc có lợi cho dân, cho nước. Sau một thời gian học chữ Hán, Nguyễn Kiệm chuyển qua học chữ Quốc ngữ ở Trường Tiểu học Pháp-Việt Yên Thành và đậu bằng Prime. Với niềm hy vọng ở người con trai thứ ba thông minh và ham học, cha mẹ tiếp tục giành dụm của cải gửi Kiệm vào học bậc Trung học tại Trường Quốc học Vinh.
Trường Quốc học Vinh những năm 1926-1929 đang diễn ra những hoạt động sôi nổi của tổ chức Sinh Hội, của nhóm Tân Việt... do các đồng chí Nguyễn Tiềm, Chu Văn Biên, Phan Thúc Tường làm nòng cốt. Được người anh rể là Phan Đăng Hoán, là anh em thúc bá của đồng chí Phan Đăng Lưu, một đảng viên Tân Việt ở Tiểu tổ Tràng Thành hướng dẫn, Nguyễn Kiệm lúc bấy giờ mới 15 tuổi bắt đầu tham gia vào những cuộc đấu tranh đòi ân xá cho cụ Phan Bội Châu.
Năm 1930, Xô Viết Nghệ - Tĩnh bùng nổ, Trường Quốc học Vinh đóng cửa, Nguyễn Kiệm về quê giúp cha và anh mở hiệu thuốc bắc Nam Đồng ích tại chợ Dinh. Bấy giờ, phong trào đấu tranh của công nhân Vinh - Bến Thuỷ, của nông dân Thanh Chương, Nam Đàn, Nghi Lộc lan ra cả vùng nông thôn Yên Thành. Tháng 11-1930 nổ ra những cuộc biểu tình của nông dân Yên Thành kéo về huyện đường đòi giảm sưu hoãn thuế, thực dân Pháp và bọn phong kiến Nam triều đàn áp đẫm máu. Trong những ngày khó khăn hiểm nghèo của cách mạng, hiệu thuốc Nam Đồng ích là cơ sở liên lạc của một số chiến sỹ Xô Viết đi về bám cơ sở. Năm 1936, cơ sở Đảng ở Yên Thành được khôi phục, các đồng chí Ngô Xuân Hàm, Phan Đức Vinh và một số đồng chí trong Huyện uỷ Yên Thành vẫn thường lui tới hiệu thuốc Nam Đồng ích. Cũng trong năm đó, Nguyễn Kiệm cùng người anh rể là Phan Đăng Hoán và một số người bạn vào Vinh mở Trường tư thục Hoan Châu học liệu vừa tổ chức dạy học, vừa có điều kiện tham gia các hoạt động đấu tranh công khai do Mặt trận Dân chủ lãnh đạo. Thông qua các sách báo công khai và nhất là thông qua sự thuật lại của những người thân quen, Nguyễn Kiệm rất khâm phục tài năng và đức độ của Phan Đăng Lưu. Đầu năm 1938, Nguyễn Kiệm đã tìm gặp được Phan Đăng Lưu và nói rõ chí hướng của mình nhân lúc Phan Đăng Lưu về Nghệ An để vận động cho cuộc đấu tranh ở Viện dân biểu Trung Kỳ. Cuộc gặp gỡ với đồng chí Phan Đăng Lưu đã đánh dấu bước chuyển hướng trong cuộc đời hoạt động cách mạng của Nguyễn Kiệm.
Cuối năm 1939, trong một đêm đông mưa phùn gió bấc, Nguyễn Kiệm lẳng lặng trèo tường, ra đi. Lúc đó, cả cha mẹ, vợ con cũng không rõ ông đi đâu, chỉ biết là ông đi theo con đường ông đã chọn: cứu nước, cứu dân.
Ba năm sau, năm 1942, Nguyễn Kiệm về quê xin cha mẹ cho đưa vợ con vào Sài Gòn làm ăn. Cha mẹ, anh em bà con khuyên Nguyễn Kiệm để vợ con ở lại quê nhà nhưng Nguyễn Kiệm một mực xin đưa vợ con đi cùng. Thương con, ông Nguyễn Tình định chia cho Nguyễn Kiệm 6 sào ruộng để bán lấy tiền làm lộ phí và có lưng vốn làm ăn nơi đất khách quê người nhưng Nguyễn Kiệm từ chối: "Kiệm xin nhường lại cho anh cả và hai em ở quê". Thực tình Kiệm đưa vợ con vào Sài Gòn để tạo vỏ bọc hợp pháp, hoạt động công khai.
Thời gian này, phong trào đấu tranh của quần chúng Sài Gòn - Gia Định đang gặp nhiều khó khăn. Sau cuộc khởi nghĩa Nam Kỳ, các đồng chí lãnh đạo cao nhất của Trung ương, của Xứ uỷ lần lượt bị bắt trong đó có Phan Đăng Lưu, người anh, người thầy của Nguyễn Kiệm. Nén đau thương, Nguyễn Kiệm lao vào hoạt động. Những năm đầu vào Sài Gòn, Nguyễn Kiệm đóng vai một ký giả. Về sau, theo sự phân công của tổ chức, anh trở thành một nhà thầu khoán có hạng ở đất Sài Gòn. Được sự giúp đỡ của các cơ sở cách mạng trong hàng ngũ tư sản yêu nước, Nguyễn Kiệm có đủ vốn liếng và người giúp việc để nhận những công trình xây dựng lớn, nhỏ, từ đó mở rộng địa bàn hoạt động, xây dựng cơ sở trong giai cấp công nhân và tầng lớp trí thức đô thị.
Cách mạng Tháng Tám bùng nổ, cả Thành phố Sài Gòn - Gia Định lại ngợp trời cờ đỏ sao vàng. Nguyễn Kiệm tham gia Khởi nghĩa giành chính quyền ở vùng trung tâm thành phố. Nhưng chính quyền non trẻ vừa mới gây dựng được một thời gian ngắn thì thực dân Pháp gây hấn. Sài Gòn - Gia Định cùng nhân dân Nam Bộ lại vùng lên kháng chiến chống Pháp. Nguyễn Kiệm vẫn giữ vỏ bọc là nhà thầu khoán nhưng anh được giao trách nhiệm phụ trách công tác công đoàn, bề ngoài là xây dựng các nghiệp đoàn của công nhân, tiểu thương nhưng bên trong là xây dựng cơ sở cách mạng trong công nhân, công chức và các thành phần khác.
Năm 1948, Nguyễn Kiệm tham gia Khu uỷ viên Đặc khu Sài Gòn - Gia Định. Năm 1949, ông được bầu vào Ban Thường vụ trực tiếp làm Phó Bí thư, phụ trách cơ sở nội thành. Trên phương diện công khai, ông là Uỷ viên liên hiệp công đoàn kháng chiến Nam Bộ. Trên cương vị mới, ông đã cùng các đồng chí trong Đặc khu Sài Gòn - Gia Định vừa trực tiếp lãnh đạo phong trào đấu tranh công khai, bán công khai vừa chăm lo xây dựng cơ sở nội tuyến trong các xưởng thợ, trường học, khu phố trong sự lùng sục gắt gao của mạng lưới mật thám, chỉ điểm. Ở các huyện vùng ven, Đặc uỷ xây dựng thêm các cơ sở du kích kháng chiến. Ở đó có đài phát thanh kháng chiến, có xưởng sản xuất vũ khí, có trường đào tạo cán bộ kháng chiến.
Với tài năng nhiều mặt, Nguyễn Kiệm đã cùng với các đồng chí trong Đặc khu uỷ xây dựng cơ sở Đảng, cơ sở vũ trang ngay trong lòng thành phố và tổ chức nhiều cuộc đấu tranh trên diễn đàn báo chí, biểu tình, đình công diễn ra liên tục - tiêu biểu nhất là cuộc biểu dương lực lượng của hàng vạn quần chúng biểu tình chống Mỹ ngày 19-3-1950.
Cuối năm 1950, Thường vụ Đặc khu uỷ Sài Gòn-Gia Định họp để rút kinh nghiệm của đợt phát động quần chúng biểu tình, đình công chống Mỹ và bàn bạc, quyết định một số công việc quan trọng, trong đó có việc chuẩn bị cử đoàn đại biểu của Đặc khu uỷ tham gia đoàn đại biểu của Nam Bộ ra dự Đại hội Đảng toàn quốc lần thứ 2 tại Việt Bắc, Nguyễn Kiệm được đề cử là 1 trong những đồng chí đi dự Đại hội và được phân công chuẩn bị báo cáo của Đặc khu tại Đại hội.
Sau hội nghị Đặc khu uỷ, Nguyễn Kiệm bắt tay ngay vào công tác chuẩn bị. Sau 10 năm vào hoạt động ở Sài Gòn - Gia Định, đây là những ngày tháng đồng chí cảm thấy sung sướng nhất. Cơ sở cách mạng của thành phố ngày càng lớn mạnh. Khí thế cách mạng của quần chúng đang ở thế thượng phong. Đồng chí lại vinh dự chuẩn bị bản báo cáo của Đặc khu tại Đại hội Đảng toàn quốc sắp tới... Nhưng một điều bất ngờ đã xảy ra, một buổi chiều trên đường từ thành phố vào khu căn cứ Củ Chi, đồng chí bị giặc phục kích vây bắt, do sự chỉ điểm của một tên phản bội.
Bắt được Nguyễn Kiệm, Phó Bí thư Đặc khu uỷ Sài Gòn - Gia Định, một nhân vật quan trọng, kẻ địch hí hửng mừng thầm, chúng giam Nguyễn Kiệm vào bót Hoàng Hùng và dùng đủ mọi cực hình tra tấn để hành hạ ông. Chị Hai - giao thông của Đặc khu uỷ kể lại: " Đồng chí Nguyễn Kiệm bị bắt, bị tra tấn tàn nhẫn không thể tưởng tượng được, bằng đủ mọi cực hình. Bọn mật thám bót Hoàng Hùng đã biết anh là một cán bộ quan trọng đối với phong trào nội thành. Chúng phải tra tấn thế nào cho lòi ra cơ sở, cho lòi ra các cán bộ bí mật. Chúng đánh đập anh đến đâu cũng không khám phá ra điều gì. Anh đã chửi vào mặt chúng. Bị đánh dồn dập từ đầu hôm đến sáng, anh đã tắt thở trên bàn tra tấn của giặc" (Đấu tranh là lẽ sống - Vũ Ngọc Nguyên - NXB Lao Động- HN, 1957).
Đồng chí Nguyễn Kiệm hy sinh rạng sáng ngày 30-5-1951, giữa lúc mới 36 tuổi đời, khi tài năng đang độ phát triển. Các đồng chí Mười Cúc (Nguyễn Văn Linh), Phạm Thiều và những người cùng công tác với Nguyễn Kiệm đánh giá rất cao vai trò và những đóng góp to lớn của ông đối với phong trào cách mạng của thành phố và xem đây là một tổn thất lớn.
Năm 1975, sau Chiến dịch Hồ Chí Minh lịch sử, Thành phố Sài Gòn-Gia Định được giải phóng, Đảng bộ và nhân dân Thành phố Hồ Chí Minh đã lấy tên Nguyễn Kiệm đặt tên cho một con đường lớn của thành phố để tỏ lòng biết ơn một trong những cán bộ lãnh đạo của thành phố đã có những đóng góp xuất sắc vào việc xây dựng cơ sở, xây dựng phong trào trong những giai đoạn sôi nổi nhưng cũng đầy gian khó thử thách và nêu tấm gương hy sinh bất khuất trong ngục tù của đế quốc. Đảng và Nhà nước ta cũng đã truy tặng đồng chí Nguyễn Kiệm Huân chương Hồ Chí Minh và nhiều huân chương cao quý khác.