1919년 3.1운동에 참여했으며 교토제국대학 공업화학과를 졸업하였다. 교남학교(현 대륜중,고등학교) 교사를 지내고 대구여자상업학교 설립을 주도하고 초대 교장을 지냈으며, 재단법인 난강학원[1] 이사장을 맡기도 했다. 경북대학교 사범대학 화학교육과 교수를 지냈다. 고병간 총장의 뒤를 이어 경북대학교 총장서리를 맡았고 제3대 경북대 총장으로 취임하였다. 재임기간은 1960년 5월 12일부터 1961년 9월 30일이다. 대한화학회 대구·경북지부 초대지부장을 지내기도 하였다. 총장 퇴임후 1973년 9월 8일 별세하였다.

제1,2대 경북대 총장을 맡은 고병간 총장이 4.19혁명 이후 스스로 경북대 총장직을 사임하면서 총장서리를 맡았다. 1960년 8월 27일, 경북대학교 총장으로 정식임명되었다.

총장 재직 시절인 1960년 경북대 의대생 2명이 정창수, 이규택 두 의대 교수를 학교에 납치, 연금한 사건이 발생했는데, 이병도[2] 문교부 장관은 “마땅히 난동을 주동한 학생들은 처벌되어야 하며, 검찰에서 조처를 해주길 바라며, 또한 학교는 학교대로 교칙에 따라 총장서리가 처리할 문제이다”라고 입장을 발표하였다. 그러나 김상열 총장서리는 7월 6일 문교부에 나타나 “학생들이 두 교수를 모셔간 것이지 연금한 것이 아니다.”라고 하며 오히려 학생들에게는 아무런 죄가 없다며 두둔하였다.

1961년 9월 30일, 경북대 총장에서 퇴임했다. 재임 중에 5.16 군사정변이 발발하였는데, 5.16 군사정부가 제정, 공포한 ‘교육에 관한 임시특례법’에 따라서 임기를 일찍 마치고 정년퇴임하게 되었다.

1973년 9월 8일, 대구 대명동 자택에서 숙환으로 별세했다. 장례는 대구여상 학교장으로 치러졌다.