볼츠만은 오스트리아 제국 시절, 1844년에 빈에서 태어났다. 볼츠만의 아버지인 루트비히 볼츠만(Ludwig George Boltzmann)은 세무 공무원이었고, 아버지는 베를린에서 이주한 시계공이었다. 어머니인 카테리나 파우에른파인트(Katharina Pauernfeind)는 잘츠부르크 출신이었다. 볼츠만은 양친으로부터 가정에서 초등 교육을 받았으며, 나이 15세에 린츠에 있는 고등학교에 입학하였다. 그 해에 볼츠만의 아버지가 세상을 떠났다.

1863년 빈 대학교에 입학해 물리학을 공부해 1867년 기체운동론에 대한 연구로 박사 학위를 받았으며, 요세프 슈테판의 조수가 되어 2년간 일했다. 볼츠만에게 제임스 클러크 맥스웰의 업적을 소개한 것은 슈테판이었다.

볼츠만은 그의 나이 25세가 되는 1869년에 그라츠 대학의 이론물리학(수리물리학) 교수가 되었다. 1869년의 몇 달간은 하이델베르크에서 로베르트 분센과 레오 쾨니히스베르거와, 1871년에는 베를린에서 구스타프 키르히호프와 헤르만 폰 헬름홀츠와 공동 연구를 했다. 1873년 볼츠만은 빈 대학의 수학교수로 임용되었으며 1876년까지 일했다.