Denne villaleiegården ble oppført i 1892-93 for trelasthandler Hans Tandberg fra Norderhov, ved den innvandrede tyske arkitekt Rudolf Haeselich, på en tomt skilt ut fra Uranienborgveien 24b. Tomten tilhørte før byggingen en L. M. Bentzen. Samme arkitekt tegnet også Glückstads gate 2 og Colletts gate 39 for trelasthandleren. Tandberg lot ellers oppføre flere leiegårdsvillaer i tre, for eksempel Holtegaten 12 og 14.

Holtegaten 4 er bygget i tre over to og en halv etasje, med fasader i liggende panel. Fasaden mot Holtegaten er symmetrisk komponert, med to markante, spisse arkoppbygg som dominerende motiv. Disse kroner hvert sitt verandaparti som strekker seg i hele bygningens høyde, og var opprinnelig prydet med hvert sitt knippespir. Taket er tekket med skiferheller.

Verandapartiene ble skiftet ut i 2008, og da ble de dekorerte brystningsfeltene tilbakeført. Stiluttrykket er en enkel trehistorisme, eller sveitserstil. Bygningen ble modernisert i 1937, og fikk da blant annet nytt inngangsparti på kjellerplan.

Henimot århundreskiftet var huset kommet i legen Reidar Bentzens eie. Ved folketellingen anno 1900 bodde han her sammen med sine søsken og deres gamle mor. Blant husets øvrige beboere var enkefruene Birgitta Theodora Lund og Elisabeth Vinsnes, de gamle frøknene Foss og lærerinne ved frk. Bonnevies skole Thora Gjesdahl.