Mydlářovský dům získal pojmenování po svém majiteli Matěji Mydláři, zámožném svíčkaři a výrobci mýdla. Inspirován svými cestami po Itálii nechal původní gotickou stavbu v letech 1573–1577 velkoryse přestavět v renesančním slohu. Dům má tři patra, z nichž dvě jsou zdobena lodžiemi s pěti oblouky nesenými toskánskými sloupy Třetí galerie byla na počátku 19. století ze statických důvodů snesena a nahrazena dřevěnou pavlačí.
V roce 1577 otec prodal dům svému nejstaršímu synovi, který postupně nechal k domu přistavět charakteristické minaretové dvojvěží z cihel a tesaného kamene. První věž je pětiposchoďová s točitým schodištěm, v úrovni nad domem šestihranná se čtyřhrannými okny. Druhá věž, přistavěná z východní strany, přesahuje první a je zakončena tvarem minaretu s osmi malými okny a dosahuje výšky 28 metrů. O účelu věží nejsou známy žádné písemné doklady, ale protože byly nazývány hvězdárnou, panuje všeobecné mínění, že sloužily k hvězdářským pozorováním.
Dnes slouží Mydlářovský dům veřejnosti. Od roku 1972 v něm sídlí Muzeum loutkářských kultur, které vlastní na 11.000 loutek z celého světa a pořádá nejen výstavy, ale také divadelní představení, koncerty nebo filmové projekce.
Kruhový výhled z otevřeného ochozu nižší věže nebo z malých okének vyšší vížky na celé město, nedaleký kostel Nanebevzetí Panny Marie (střecha brání výhledu na Orlické hory), Železné hory s vysílačem Krásné, rozhlednu Bára, hřebeny Krkonoš, Kunětickou horu, komíny elektrárny v Opatovicích, cementárny v Prachovicích, a pára z chladicích věží elektrárny v Chvaleticích.
Suvenýry v pokladně muzea.
