Jean Arp werd als Hans Peter Wilhelm Arp geboren. Zijn moeder kwam uit de Elzas en zijn vader was Duits. Hij werd geboren tijdens de periode na de Frans-Pruisische Oorlog, toen het gebied bekend was als Elzas-Lotharingen, nadat het door Frankrijk aan Duitsland was teruggegeven.

Na zijn opleiding kunstnijverheid bij de École des Arts et Métiers in Straatsburg, ging Arp naar Parijs, waar hij voor het eerst gedichten publiceerde. Tussen 1905 en 1907 studeerde Arp aan de Kunstschule in Weimar in Duitsland. In 1908 ging hij terug naar Parijs om de Académie Julian te bezoeken. Vanaf 1909 woonde Arp in Zwitserland. 1912 deed hij met een serie half-figuratieve, half-abstracte tekeningen mee met de tentoonstelling van de groep Der Blaue Reiter in München en in 1913 was hij betrokken bij activiteiten van Der Sturm van Herwarth Walden in Berlijn. Van het werk uit de periode tot ongeveer 1914 is niets meer over, omdat Arp het zelf heeft vernietigd. Naar het schijnt was dit expressionistisch van aard. In 1915 ontmoette hij zijn latere echtgenote Sophie Taeuber, met wie hij samenwerkte aan papiercollages. Dat jaar exposeerde hij in Zwitserland ook zijn eerste abstracte werk.