Balthus' vader, Erich Klossowski, was kunstschilder en kunsthistoricus. Ook zijn moeder Elizabeth Spiro schilderde, onder de naam Baladine. In 1903 verliet het gezin Duitsland om zich in Parijs te vestigen. Toen de Eerste Wereldoorlog uitbrak moest de familie vluchten en vestigden ze zich in Berlijn. In 1917 scheidden Balthus' ouders en trok Baladine met haar zoons naar Zwitserland. Daar zou zij een relatie beginnen met de schrijver Rainer Maria Rilke.

Op elfjarige leeftijd tekende Balthus naar aanleiding van het overlijden van zijn kat Mitsou, een cyclus van veertig tekeningen, die in 1921 uitgegeven werden met een voorwoord van Rilke. Het jaar daarvoor had hij reeds een aantal illustraties gemaakt voor een Chinese roman. In datzelfde jaar keerde hij met zijn moeder terug naar Berlijn. In 1923 vestigden ze zich in Beatenberg. Daar, en in Parijs dat hij herhaaldelijk bezocht en waar hij zich na de dood van Rilke (1926) zou vestigen, begon zijn echte loopbaan als schilder.