뤼드베리는 고향팀 IFK 예테보리에서 1923년부터 1군 스쿼드에 들었다. 그는 예테보리의 골문을 지키며 이듬해 새로 출범된 알스벤스칸 무대에서 284경기를 출전[2]했지만 1934-35 시즌에서야 우승을 한 번 경험했을 뿐이었다.

뤼드베리는 1927년 6월 26일, 노르웨이를 상대로 A매치 데뷔전을 치렀고 3실점했지만 스웨덴의 5대3 승리로 경기를 마무리했다. 하지만 대표팀 생활 초기에는 시게 린드베리(Sigge Lindberg)에 밀려 1930년까지 경기에 자주 출전할 순 없었다.

린드베리의 대표팀 은퇴 이후 뤼드베리는 더 많은 출전 기회를 얻게 되었지만 에이바르 비드룬트와 다시 경쟁해야 했고, 이탈리아 월드컵에선 주전으로 스웨덴의 골문을 지켰다. 첫 경기 아르헨티나전에서 3대2로 승리한 스웨덴의 다음 상대는 독일이었다. 하지만 스웨덴은 독일에 1대2로 패해 자신들의 첫 월드컵을 마감하고 말았다.

뤼드베리의 마지막 A매치는 1935년 6월 16일의 덴마크전이었고 총 24경기의 대표팀 출전 기록을 남겼다.