브라운의 아버지는 트램 운전자였고 어린 시절의 브라운은 빈 동쪽의 프라터 공원 근교에서 성장했다. 1923년 스트라센반 빈에서 축구 선수 생활을 시작했으며, 1925년에 자신의 전성기를 보낼 비너 AC로 이적하게 된다. 그 곳에서 브라운은 기량과 투쟁심을 향상시켜 경쟁력 있는 축구 선수로 성장했으며, 비너 AC는 컵 대회 우승 1회를 포함하여 3차례 결승에 진출했다.

1935년 봄, 갑자기 브라운은 SC 바커 빈으로 팀을 옮겼고 남은 시즌은 바커 빈에서 보냈다. 시즌을 마친 후 브라운의 행선지는 프랑스 디비지옹 1의 스타드 렌 UC이었으며 이 곳에서 4시즌을 보냈다. 이 4시즌동안 스타드 렌은 강등당했다가 재승격을 이뤄냈는데 재승격이 확정되고 브라운은 다시 오스트리아로 돌아왔다. 오스트리아 복귀 시점엔 LASK 린츠에서 플레잉 코치로 뛰었으며 그 해 선수 생활을 마감했다.

브라운은 1928년 5월 6일, 헝가리와의 시합에서 국가대표팀에 데뷔했다. 하지만 포지션 경쟁자들의 벽이 높아서 그런지 2번째 경기는 3년이 지난 1931년이 되어서야 치를 수 있었다.

그 이후 브라운은 대표팀에서 나름 자리를 잡는 데에 성공했고 월드컵 대표팀에도 선발되었다. 월드컵에서는 3,4위전 한 경기에 출전했고 1935년까지 총 13경기의 출전 기록을 남겼다.

브라운은 선수 생활을 마감한 이후 제2차 세계 대전에 참가했다가 소련군에 잡혀 포로 생활을 했다.

1952년, 브라운은 오스트리아에 돌아온 후 LASK 린츠에서 감독 생활을 했고, 이후 에티오피아 대표팀, 푀스트 린츠, 미헬도르프의 감독직도 수행했다.

브라운은 1963년, 암으로 사망했다.

기술적으로 강하며 단단한 선수였다고 전해진다.