Na počátku 13. století stával v místě Císařského mlýna statek, který patřil Svatojiřskému klášteru. Původní mlýn byl vystavěn v roce 1395, pozdější hospodář zde také provozoval pilu a založil vinici na kopci Pecka. O mlýn v tehdejší vesničce za Prahou usiloval už císař Maxmilián II., ale z koupě nakonec sešlo. Mlýn se stal korunním majetkem až v roce 1584, kdy jej Rudolf II. dostal darem jako vyjádření díků za to, že přesídlil s císařským dvorem z Vídně do Prahy. Místo si natolik oblíbil, že ho nechal zvelebit tak, jak se na císařský majetek sluší.
Soukromé letní sídlo se asi od roku 1589 postupně rozrostlo o několik pozdně renesančních staveb a spoustu zahradní architektury. Nejzajímavější a zároveň nejzáhadnější z rudolfinských úprav je grotta – umělá jeskyně se zdobeným portálem vyhloubená do skály. Uprostřed byl malý rybníček napojený na místní vodárnu. Později, během 18. století, se mu začalo říkat Rudolfova lázeň. Další součástí původního areálu byl zděný bazén obehnaný balustrádou, kde se chovaly vzácné ryby. Všechny části letní rezidence mezi sebou byly propojeny kamennou arkádovou chodbou. Vedle mlýnice byla zřízena dílna na broušení a leštění drahých kamenů, kde se vyráběla umělecká díla – vázy, intarzovaný nábytek. Později, v roce 1606, byla přistavěna manýristická brána původně označená Rudolfovým monogramem R v kruhu.
Císařský mlýn patřil českým králům až do roku 1786, kdy byl dán do dražby. Později se majitelé rychle střídali a docházelo k mnoha úpravám. Z mlýna se stal hostinec a byly zde budovány různé průmyslové dílny, které ke svému provozu potřebovaly dostatek vody – n barvírna, první strojní papírna, ke které byla zbudována také železniční vlečka. Koncem 19. století bylo mlýnské rameno Vltavy zasypáno kvůli stavbě trojského zdymadla a mlýn částečně zbořen. Z pozoruhodné památky zbyla jen ruina, která dále chátrala. Na začátku 21. století proběhla rozsáhlá rekonstrukce a rezidence Císařský mlýn se dnes pyšní 20 luxusními apartmány, které obklopuje krásná příroda.
