Tønsbergs Privatbank ble stiftet i 1870, og hadde den første tiden tilhold i konsul og skipsreder Ole Christophersen Berrums gård i Storgaten 45. Denne gården ble oppført i 1856, som en av byens få murbygninger på den tiden.

Bankens første sjef var Carl Krüger fra Lübeck, som ble ansatt bare 24 år gammel. Etter en vanskelig start fikk banken en sterk vekst i 1870-årene. I 1883 ble byggingen av bankbygning i Storgaten 24 påbegynt, og året etter kunne banken innvie sine nye lokaler. Bankbygningen ble oppført ved ansvarshavende murmester Moss, etter tegninger ved arkitekt Hjalmar Welhaven, Kristiania. Byggearbeidene beløp seg i alt til kr. 60 000.

Bygningen er et toetasjes hjørnehus med langside mot Prestegaten, oppført i pusset tegl, med brukket hjørne. Første etasje har rundbuede vinduer og sirlig kvaderpuss. Buens nøkkelsten i stukk prydes av en bevinget stav til ære for bankenes skytshelgen, evangelisten Matteus. Den gamle hovedinngangen mot Storgaten er granittinnfattet. I annen etasje er vinduene flankert av pilastre og har avrundede overdekninger. Huset er utført i en generøs men nøktern nyrenessanse.

Banken utdelte i perioden 1898 til 1918 hele 10% av årlig fortjeneste til aksjonærene. I 1918 forlot banksjef Krüger sin stilling, og i fredsårene som fulgte led banken store tap. Banken ble i 1921 fusjonert med Tønsbergs Handelsbank til A/S Tønsbergs Handels- og Privatbank. Denne banken måtte settes under offentlig administrasjon i 1923, og opphørte i 1928.