Ova lepa stara zgrada nekoliko puta je menjala uloge tokom godina, ali prvobitno je bila izgrađena za potrebe kneginje Ljubice i njenih sinova. Rezidenciju je izgradio Miloš Obrenović i njegova supruga i sinovi su ovde živeli oko 10 godina. Knez Miloš i kneginja Ljubica imali su buran brak, najblaže rečeno. Knez joj je često bio neveran, ali i mimo toga imali su velika neslaganja oko mnogih stvari. Navodno je upravo njihov loš odnos bio povod za izgradnju konaka, posle čega su neko vreme živeli odvojeno. Do dan danas građevina je pažljivo očuvana i jedna od najreprezentativnijih zgrada arhitekture 19. veka.
Danas rezidencija ima status zaštićenog spomenika kulture od izuzetnog značaja i pripada Muzeju Beograda. Konak posetiocima nudi lepu trajnu izložbu koja prikazuje stil enteriora tipičan za Otomanski period, stil nameštaja napravljenog na Balkanu kao i druge stilove iz tog perioda.
