Rubens' vader Jan Rubens was advocaat en bekleedde van 1562 tot 1568 in Antwerpen een schepenambt. Zijn moeder was Maria Pypelinckx en kwam uit een vooraanstaande familie. In 1568 week het gezin uit naar Keulen omdat ze als Calvinisten in hun thuisland vervolging vreesden. Nadat Peter Pauls vader werd aangesteld als juridisch adviseur van Anna van Saksen, de tweede vrouw van Willem van Oranje, verhuisde het gezin Rubens in 1570 naar Siegen waar haar hof gevestigd was. Jan Rubens had vervolgens een affaire met Anna van Saksen die tot een zwangerschap leidde. Jan Rubens werd hiervoor opgesloten en liep het risico ter dood veroordeeld te worden. Dankzij de smeekbeden van zijn vrouw kon Jan Rubens na twee jaar de gevangenis verlaten. Na zijn vrijlating werd Jan Rubens een tijd lang verboden het beroep van advocaat uit te oefenen. Dit legde een zware druk op het gezin die pas verlicht werd toen in 1577 het beroepsverbod werd opgegeven na de dood van Anna van Saksen. In deze moeilijke situatie werd in 1574 Philip Rubens geboren, gevolgd in 1577 door zijn broer Peter Paul. In 1578 verhuisde het gezin Rubens naar Keulen waar vader Jan Rubens in 1587 overleed. De weduwe Maria Pypelinckx keerde in 1590 met haar gezin terug naar Antwerpen, waar ze zich opnieuw tot het katholicisme bekeerde.