New York, eind jaren twintig van de vorige eeuw. Twee huizenblokken moeten tegen de vlakte en een zootje ongeregeld zorgt voor de sloop. Wilde geruchten doen de ronde, dat de sloop niet nodig is, maar dat er met de grond gespeculeerd gaat worden. Er is sprake van sabotage en bij het instorten van een trap is een meisje omgekomen. De stemming is grimmig en de slopers, die onverdroten voort werken, worden belaagd door de verdreven arme sloebers die vroeger in de blokken woonden: twee groepen verdoemden. Een leerjongen, die steeds door de slopers wordt gepest en van alles de schuld krijgt, weet niet beter of hij is Xavier X. Mortanse, een nog maar net aangekomen Hongaarse immigrant. Het enige wat hij zich herinnert is dat hij op een dag wakker werd op een kade in Amerika, met chocolaatjes in zijn broekzak en zijn voornaam op zijn pols getatoeëerd.
Langzaam maar zeker ontdekt Xavier steeds meer van zichzelf: dat hij fabuleus goed kan schaken, dat hij nooit een kompas nodig heeft, maar altijd zijn huis weer kan vinden en dat de zuster die hij achterliet Justine heet. Aan haar schrijft hij lange brieven, al begrijpt hij niet waarom hij nooit antwoord krijgt.
Als Xavier tijdens het werk een houten kistje vindt, blijkt het een vreemde muziekdoos te zijn. En al zorgt buurvrouw Peggy goed voor de eenzame, magere jongen met de pianovingers, door de figuur in de muziekdoos heeft Xavier voor het eerst iemand gevonden om van te houden.