구 30번이 전신이다. 당시 지선으로 30-1번이 있었는데 이 노선은 30번과 5-1번(현 127번)을 적절하게 섞어놓은 형태(무거동 - 신복로터리 - 삼호 - 태화동 - 우정시장 - 복산동 - 중구청 - 학성초교 - 현대자동차 - 현대중공업 - 방어진)(99년 무거동-화봉동으로 단축)로 운행하였다. 2000년에 30-1번, 45번, 46번을 구 48번에 통합시켰다.

그리고 2000년 이전에는 무거-방어진 노선이 5개로 굉장히 많았다. 100번(지금의 1401번), 102번(지금은 폐선된 1114번), 112번(지금은 폐선된 1104번), 130번[2], 131번(지금의 133번)으로 지금은 구 100번만 살아남았고, 대부분은 폐선 또는 입석으로 전환되었다.

2003년 8월 개편 때 번호가 104번으로 바뀌었다.

2017년 7월 12일에 1대가 감차되어 20대로 운행하게 되었다. 관련 공지사항

2018년 8월 1일에 1대가 124번으로 차출되었고 동시에 방어진 - 대왕암공원 구간이 단축되어 대왕암공원에서 출발한다. 관련 게시물

2019년 7월 1일부터 신도여객에서 운행하게 되었다.

2020년 11월 9일에 16대에서 18대로 2대 증차되었다.

2021년 2월 17일에 18대에서 19대로 1대 증차되었다.

401번이 울산의 대표적인 신도심인 삼산동 일대의 대표 노선이라면 이 노선은 반대로 구도심인 성남동의 대표 노선이다. 그래서 성남동을 중심으로 출퇴근 시간은 물론이거니와 평상시에도 많은 수요를 자랑한다. 성남동, 태화동에서 104번을 보조하는 다른 노선으로는 103번, 123번, 133번이 있다.

울산광역시의 5개 기초자치단체를 모두 거치는[3] 노선 중 하나다.[4]

2020년 10월 20일 오전 10시 5분에 동구 남목고등학교 인근 버스정류장에서 시내버스끼리 부딪치는 사고가 발생했다. 사고 발생 원인은 조사 중이며 이 사고로 전문과 앞유리창이 파손되어 렉카차로 태화루사거리를 거쳐 가는 것이 인근 시민들에 의해 목격되어 인터넷 상에서 사진이 떠돌고 있다.