도로시 댄드리지는 1922년 11월 9일 미국 오하이오 주 클리블랜드에서 2자녀 중 막내딸로 태어났다. 어머니인 루비 댄드리지 역시 흑인 여배우였으며, 아버지는 성직자였다. 부모님은 도로시가 돌도 되기 전 이혼했다. 어머니인 루비는 도로시가 두 살이 되던 해부터 자신의 맏딸인 루비와 더불어 'The Wonder Children' 이라는 팀을 만들어 노래, 춤, 연기를 연습시켰고 자매들은 5년 동안 거의 쉬지 않고 남미 순회공연을 다녔다.