조선 중기의 학자, 정치인, 문신이다. 동방 18현 중의 한 사람이며, 본관은 광산(光山), 자(字)는 희원(希元), 호는 사계(沙溪), 시호는 문원(文元). 아버지는 사헌부 대사헌 김계휘(金繼輝)이다. 송익필로부터 사서 등을 배웠고, 이이의 문하에서 수학했다. 1578년 처음으로 관직길에 나섰으며, 1581년 종계변무의 일로 아버지를 따라 명나라에 다녀와서 돈녕부참봉이 되었다.

1592년 임진왜란 때 호조정랑이 되었으며, 1597년에 군자감첨정이 되었다가 안성군수가 되었다. 조정에 잠시 나갔다가 북인의 득세로 귀향하였고, 이후 계축옥사에 동생이 연좌되었다가 무혐의로 풀려나자 관직을 버리고 연산에 은둔했다.

인조반정으로 서인이 집권하자 조정에 출사했으나 병으로 다시 귀향했다. 이괄의 난으로 인조가 공주로 파천오자 어가를 맞이하였으며, 난이 평정된 뒤 다시 조정에 출사했다. 이후 원자의 강학을 담당했고, 왕의 시강과 경연에 초치되었으며 또다시 귀향하여 이이와 성혼을 제향하는 황산서원을 세웠으며, 정묘호란 때에는 79세의 노구를 이끌고 의병을 모아 공주로 온 소현세자를 호위했다.

늦은 나이에 벼슬을 시작하고 과거를 거치지 않아 낮은 직책을 전전했으나, 이귀와 함께 이이, 성혼의 학문을 계승하는 서인의 영수격으로 활약했다. 특히 향리에서 머무르는 동안 아들 김집부터 시작하여 송시열, 송준길 등이 죄다 그의 밑에서 수학하였고, 이들은 서인의 학문적인 계통을 담당하는 주요 인사들이 되었다.

예학에 정통한 인물로 그에게 배운 제자들이 이후 조선의 권력자들이 되었기 때문에 형식적인 예법에 치우친 유교 원칙주의자들의 중시조 격인 인물이다.
1688년 문묘에 종사되었으며, 아들 김집도 뒤늦게 종사됨에 따라 부자가 문묘에 종사되는 유일한 사례가 되었다.

이 사람의 증손자가 숙종의 첫번째 장인인 김만기와 구운몽으로 유명한 김만중이다.