V místech dnešního letohrádku se v 15. století rozkládal klášter kartuziánů, který zde nechal roku 1341 postavit Jan Lucemburský jako výraz svého pokání nad svým dosavadním životem a z žalu ze smrti své milované dcery Markéty. Díky protireformním názorům řeholních bratří, byl však klášter krátce po zahájení husitských bouří zcela vypleněn a srovnán se zemí. Po jeho téměř osmdesátileté existenci nezbylo vůbec nic. První zmínka o majitelích bývalých klášterních pozemků pochází až ze 17. století, kdy je jako vlastník uváděn hrabě Michna z Vacínova. Roku 1722 pak pozemky odkupuje Kilián Ignác Dientzenhofer (křest 1689-1751) za 2600 zlatých, který si zde dle vlastních plánů staví v letech 1725 – 1728 své letní sídlo.
Fasáda letohrádku směrem k silnici byla řešena poměrně nenáročně. Průčelí situované do zahrady však bylo ve své hmotě bohatě členěné, s výrazným středním rizalitem a zaoblenými nárožími. Střední část pak byla ukončena trojúhelníkovým štítem. Na balkon v patře bylo možno vstoupit bohatě rámovaným francouzským oknem. Výtvarnou hodnotu tohoto průčelí ještě umocňovaly dvě busty, alegorie Dne a Noci (autor originálů není znám, autoři kopií Jelínek a Kolář). Dnes jsou na jejich místě kopie. Originály se nacházejí v prosklené prostoře po pravé straně vchodu do dnešní galerie.
Hlavní reprezentační prostor, oválný sál (tzv. Reinerův sál) umístěný ve druhém nadzemním patře, respektive jeho klenbu, vyzdobil freskou Dientzenhoferův přítel a častý spolupracovník, význačný barokní malíř Václav Vavřinec Reiner. Motivem nástěnné malby jsou Bakchovy slavnosti. Dílo je podepsáno a datováno rokem 1729 ( v originále „Wenceslaus Reiner 1729“). Teprve během restaurátorských prací v 60. letech 20. století byla po odstranění nečistot objevena skutečná podoba malby.
Po Dietzenhoferově smrti objekt často mění majitele. Roku 1758 jej i se zahradou kupuje František Leopold Buquoy (celým jménem František Leopold hrabě Buquoy de Longueval et Vaux), který je upravuje v rokokovém stylu. O nádheře letohrádku svědčí i soupis inventáře sepsaný po jeho smrti obsahující bohatý výčet nábytku, lustrů, závěsů, mědirytin, hodin, obrazů, knih a dalšího mobiliáře. V zahradě vybuduje František Buquoy skleníky pro cizokrajnou flóru, velkou oranžerii, fíkovnu a doplňuje i vzrostlou vegetaci. Po následující desetiletí se zahrada stává místem čilého společenského dění. Proslulé byly především letní slavnosti určené pouze lidem váženým, bez rozdílu náboženství. Přístup sem však neměli špinaví, otrhaní a podezřelí, nebyly zde trpěny pitky, hašteření a kšeftování a zakázáno bylo i kouření.
Koncem 18. století sloužil letohrádek jako hostinec. Na počátku 19. století získávají Buquoyskou zahradu s obytnou budovou, oranžerií a skleníkem Ferdinand a Anna Delormovi (po nich bylo území přejmenováno na Delormovu zahradu) a objekty využívají jako továrnu na cikorku.
Ve 30. letech 19. století se usedlost s pozemky stává majetkem bratrů Porgesové z Portheimu, majitelů továrny na plátno, kartoun a jeho potisk, které se rozkládaly na části někdejší zahrady. V roce 1844 v těchto závodech propukly první dělnické bouře v Praze, neboť továrníci nakoupili z ciziny výkonné tiskařské stroje zvané perrotiny, což vedlo k propouštění nepotřebných dělníků. Po potlačení bouří však nepřátelství mezi továrníky a dělníky doutnalo dál a nejspíše způsobilo, že továrna na počátku 70. let 19. století vyhořela
Budova Portheimky sloužila jako letní sídlo Porgesů, během svého působení zde provedli několik stavebních úprav. Především zde nechali vybudovat půdní vestavbu v podkroví zámečku a také rozšířili letohrádek o dvě symetrická boční křídla v jednodušším klasicistním slohu.
Porgesové patřili, ostatně jako šlechta v mnoha palácích, k podporovatelům hudby (sám Josef Portheim byl violoncellistou). Hlavně zde ale působil hudební skladatel Antonín Dvořák (1841 – 1904). Jako vychovatel dětí zdejších majitelů působil i Karel Sabina (1813 – 1877).
V 80. letech 19. století bylo v souvislosti se stavbou sousedního kostela sv. Václava zbouráno jižní křídlo budovy. Letohrádek i zahrada tak ztratily svou souměrnost. V souvislosti s následnou parcelací pro výstavbu nového centra Smíchova byla zvýšena úroveň terénu o cca 2m. Letohrádek začíná chátrat a hrozí mu demolice.
Po 2. světové válce letohrádek sloužil jako nájemní dům, ve dvou místnostech byl uložen archiv a knihovna Spolku přátel Smíchova. V 50. letech 20. století byla masivní obvodová zeď kolem letohrádku zbourána, zahrada upravena přibližně do dnešní podoby a zpřístupněna veřejnosti. V 60. letech zde byla zřízena výstavní galerie „D“ připomínající stavitele a původního majitele letohrádku Kiliána Ignáce Dientzenhofera. Od té doby je budova památkově chráněna. V době výstavby trasy B metra v 80. letech bylo na ploše zahrady staveniště. Poté byl obnoven povrch cest, doplněno jírovcové stromořadí a dosazeny jednotlivé stromy (lísky turecké, javor stříbrný aj.).
V r. 1992 byla budova pronajata a zrekonstruována podle návrhu arch. Tomáše Zetka. Dnes tvoří letohrádek bývalá střední část, spojovací krček a severní křídlo. Mnohotvárná kompozice stavby se dochovala, jen původní vstup byl jinde. Hned po rekonstrukci byla v letohrádku otevřena galerie a čelem do parku i kavárna. Galerie je situována v přízemí severního křídla a umožňuje kromě klasického výstavního využití i možnost společenských akcí jako koncerty, konference a bankety až pro 100 lidí. V přízemí se nachází také stylová kavárna s celodenním provozem, v létě s posezením na zahrádce v parku s kapacitou 40-60 zákazníků. Pozoruhodné je, že v této kavárně (bývalé sala terreně) byla až při poslední rekonstrukci objevena studna pocházející v 18. století. Byla postavena na oválném půdorysu, jejím autorem bude zřejmě K. I. Dientzenhofer. Do podlahy nad ní bylo zabudováno silné sklo, kterým bylo možno pomocí spodního osvětlení vidět studnu.
Přímo u letohrádku je u původní zdi umístěna funkční pískovcová kašna krychlového tvaru. Čelní basreliéf znázorňuje jízdu mytologické bohyně na vozíku lasturového tvaru, držící otěže koňského trojspřeží. Původně na kašně bylo ještě sousoší sedící ženy, hladící hlavu vodní nestvůry, které je dnes nenávratně ztracené.
Portheimka (Štefánikova 12)
