고구려 출신의 유민으로 고구려 멸망 이후에 활동한 기록이 남아 있고 자세한 출신은 불명. 666년 신라에 항복했던 연정토 휘하의 인물로 보는 설, 검모잠 휘하설, 고구려 멸망 직후 독립적 세력을 이끌다가 신라와 뜻이 맞아 협력한 경우로 보는 설이 있다. 행적으로 보아 지위가 높고 고구려의 국성인 고씨 성이나 고덕무, 고건무 등과 비슷한 돌림자를 쓰는 것을 미루어보아 왕위에 가까운 고위 왕족일 가능성도 높다.

668년 평양성 함락으로 고구려가 멸망한 후 당나라는 옛 고구려 영토에 해외 영토 관리 기구인 안동도호부를 설치해 고구려를 통치하고 나아가 남은 신라까지 정복하려 시도했다. 고구려부흥운동의 한 갈래를 이끌던 고연무는 신라군과 협력해 670년 3월 신라의 설오유 장군과 함께 압록강 건너 요동의 개돈양(皆敦壤)을 기습 선제 공격하는데 나당전쟁의 첫 전투다.

고구려 부흥군 사이에서 내전이 일어나 안승이 검모잠을 죽이고 신라 땅으로 들어가버리자 문무왕은 옛 백제 땅인 금마저(金馬渚, 오늘날의 전라북도 익산시)에 고구려 유민들이 모여 살도록 하고 보덕국을 세웠다. 보덕국은 고구려 흡수 명분이 필요했던 신라가 고구려 유민들을 모아서 만든 괴뢰국인데 해체되어 신라의 한 주로 편입되기 전까지 약 10년 동안은 옛 고구려의 관직 체계를 그대로 쓰는 등 어느 정도 자치가 이루어졌다. 고연무는 나당전쟁이 끝난 뒤 보덕국에서 대장군(大將軍), 태대형(太大兄)이라는 안승에 이은 2인자격 고위 관직을 역임했다. 680년에는 경주에 사신으로 가서 문무왕이 안승에게 조카 딸을 왕비로 맞게 한 데 대한 답례 교서를 전했다.

그 뒤로는 기록이 없는데 신문왕의 숙청 작업의 일환으로 683년 보덕국이 사실상 해체된 뒤 684년 안승의 조카 대문을 중심으로 보덕국민들이 반란을 일으켰다 진압되는 사건이 발생하는데 고연무가 680년~684년 사이에 자연사한 것이 아니라면 반란 가담 정도에 따라 처형되거나 처벌받았을 가능성이 높다.