토치(Torch) 및 카페2(Caffe2)를 기반으로 한 텐서플로우와 유사한 딥러닝 라이브러리이다. 페이스북 인공지능 연구팀에 의해 주로 개발되어 왔다. 텐서플로우 2.0 이후의 친 keras 행보로 자유로운 네트워크 수정의 난이도가 점점 높아져, 최근 연구원들 사이에서는 PyTorch의 사용 비중이 높아지고 있다.

2016년 9월에 처음으로 공개되었다. 페이스북에서는 PyTorch와 Caffe2를 둘다 사용하고 있었는데, 두 가지 프레임워크를 사용하다보니 호환성 문제가 발생해서 결국 2017년 9월에 마이크로소프트와 협업하여 2018년 3월에 Caffe2를 PyTorch에 합쳐버렸다.

텐서플로우와 마찬가지로, NumPy의 배열을 Tensor로 가져올 수도있고, 이를 쉽게 GPU상에 올려 연산가능하게 한다.

PyTorch의 기원이 되는 토치(Torch) 라이브러리는 Lua로 작성된 오픈소스 머신러닝 라이브러리다. 2002년에 공개된 라이브러리이며, 현재는 더이상 활발히 개발되지는 않는 상황이다. 알파고를 개발한 구글 딥마인드도 토치를 바탕으로 연구, 개발을 했었지만, 2016년 4월 토치가 아닌 텐서플로우로 개발 프레임워크로의 전환을 발표했다.