Herzberg was de zoon van Russisch-Joodse ouders. In 1922 werd hij tot Nederlandergenaturaliseerd. Als student was hij bevriend met Jacob Israël de Haan. Hij studeerde rechtenin Amsterdam en werd na zijn studie advocaat en procureur. Als advocaat specialiseerde hij zich in de drankwetgeving. Zijn Duitse zwager Wilhelm Spiegel was in 1933 een van de eerste slachtoffers van het nazisme na Hitlers machtsovername.

Herzberg was van 1934 tot 1939 voorzitter van de Nederlandse Zionistenbond. Vanaf augustus 1940 tot de ontruiming in maart 1941 was hij directeur van het joodse werkdorp in de Wieringermeer. Herzberg stond met zijn vrouw en drie kinderen op de zogeheten Frederikslijsten genoot daardoor een zekere bescherming. Vanaf maart 1943 werd hij met zijn gezin geïnterneerd in Barneveld. Zijn drie kinderen ontsnapten toen de Duitsers in september 1943 het kamp ontruimden. Zij overleefden allen de oorlog als onderduikers. Herzberg en zijn vrouw werden getransporteerd naar Westerbork en later Bergen-Belsen, dat op 15 april 1945 door de Britten werd bevrijd. Vlak voor deze bevrijding was Herzberg op het verloren transport gezet.[1]De trein waarin hij opgesloten zat, reed 14 dagen in oostelijke en zuidoostelijke richting door Duitsland, voordat de reis bij het dorpje Tröbitz, niet ver van de Elbe, in door de Russen veroverd gebied eindigde.[2] Op 30 juni 1945 kwam hij terug in Nederland. Abel Herzberg had kans gezien in het kamp een dagboek bij te houden. Na de oorlog is dit gepubliceerd onder de titel Tweestromenland.

In 1980 schreef hij het boek man in de spiegel- opstellen toespraken en kritieken 1940-1979