Vysoká brána vznikla jako součást nově budovaného městského opevnění na místě jiné starší brány. Ty totiž patřily k nejslabším článkům tehdejšího opevnění. Od roku 1516 do roku 1528 byly postupně zbudovány čtyři nové brány. Východní Pražská, severní Vysoká, západní Svatojilská a jižní Lubenská. Celý prstenec městského opevnění měl dosahovat délky téměř dvou kilometrů, ale pro náročnost stavby nikdy nebyl úplně uzavřen. Do dnešních dnů se dochovala pouze Vysoká a Pražská brána. Zbylé dvě byly zbourány v 19. století.
Vysoká brána má pět pater, dosahuje výšky 46 metrů a střecha je pokryta štípanou břidlicí. Vysoká se jí říká proto, aby z jejího ochozu bylo vidět za podstatně vyšší severní hřbet Bendovka nad městem a včas se tak mohl získat náskok na přípravu k boji. V prvním patře s klenutým stropem bývalo vězení pro dlužníky, ostatní patra už mají stropy trámové. Až do třetího patra se stoupá vnějším točitým schodištěm na východní straně věže, zbylá dvě poschodí pak spojuje vnitřní dřevěné schodiště. Zajímavostí brány na severní straně je dochované předbraní s ochozem cimbuřím a křížovými střílnami. Na západní straně brány je pak malá branka pro pěší. V létě 1646 udeřil do brány blesk, který poškodil jednu makovici, střešní krytinu a zabil hlásného i branného, kteří zde žili.
Kruhový výhled z otevřeného ochozu ve výšce 31 metrů, který je v rozích doplněn chrliči vody v podobě lva, žáby, vepře a měšťana (celý Rakovník s dominantami kostela Sv.Bartoloměje, Pražskou bránou, radnicí a na jižním okraji s mohutnou továrnou Procter Gamble – Rakona).
Suvenýry v pokladně věže nebo v IC naproti budově gymnázia.
