Na pohlednici je část vesnice z jihu. Je na ní vidět tvrz, kostel Umučení sv. Jana Křtitele, domy a část opevnění. Po stranách jsou vidět bašty. Prostřední bašta trochu splývá se zástavbou.

Jádro současné tvrze pochází z konce 15. století, kdy Ludvík ze Žumberka nechal postavit zcela nové sídlo. Jednoduchou pozdně gotickou budovu (doložena 1544) s průjezdem do nádvoří; o jejím případném opevnění není známo nic. Do současné renesanční podoby byla přestavěna někdy na přelomu 16. a 17. století buď za Jindřicha Pouzara, nebo za Theobalda Hocka. Stavitel nechal k severnímu a západnímu křídlu přistavět přístavky, na nádvoří byly vybudovány pavlače a byla provedena sgrafitová omítka. Tehdy také vzniklo (pravděpodobně 1612-1615 byla tvrz s historickým jádrem vesnice obehnána hradební zdí se šesti baštami).

Roku 1817 byla zbořena severní a severovýchodní část hradební zdi (směrem do vsi) i s bránou a jednou baštou, další zbořená bašta je uváděna v roce 1832.

Tvrz je postavena na jihozápadním okraji vsi, nad rybníkem na Svinenském potoce, který ji chrání ze západní a jižní strany.

Jedná se o čtyřkřídlou patrovou budovu s přístavky u severního a západního křídla. Ve východním křídle se nachází průjezd na malé čtvercové nádvoří s fasádou s psaníčkovými sgrafity a s pavlačemi, které jsou podklenuté valeně s výsečemi. Místnosti v přízemí tvrze jsou zaklenuté rovněž valeně, případně hřebínky. V prvním patře se nacházejí obytné místnosti přístupné z pavlačí, v jedné z reprezentačních místností jsou fragmenty nástěnných maleb s biblickým citátem ve staročeštině a vyřezávaný záklopový strop, jehož trámy jsou zdobeny rožmberskou pětilistou růží.

Areál tvrze je obehnán rozsáhlým opevněním. Hradební zeď zpevněná sedmi válcovými baštami chránila i blízký kostel s původním hřbitovem a sousední poplužní dvůr; opevněná plocha tak přesahovala rozlohu malé vsi v severním sousedství opevněného areálu, kterou nechránila. Není tedy pravda, že Žumberk byl opevněnou vesnicí. Do dnešních dnů se dochovala většina hradební zdi a pět bašt. Šestá je zachována u budovy tvrze v půdorysné stopě, sedmá stála na místě klasicistní hospody na návsi.¹

Kostel Umučení svatého Jana Křtitele byl součástí areálu, který byl původně obehnán opevněním nedaleké žumberské tvrze, Přímo u kostela se nachází jedna ze zachovaných bašt.

Poprvé je raně gotický kostel v Žumberku doložen v roce 1332. Zřejmě na přelomu 14. a 15. století byl postaven nový presbytář s křížovou klenbou, který je dochován jako nejstarší část chrámu; o něco později k němu byla přistavěna sakristie. Kostel byl v roce 1422 vypálen husity, jeho obnova a pozdně gotická přestavba byla zahájena v roce 1455. Původně plochostropá loď s dřevěným trámovým stropem byla na konci 15. století (asi po roce 1485) nahrazena síňovým trojlodím, k němuž byla na západní straně postavena hranolová věž se vstupním portálem, na jižní straně vznikl hlavní vstupní portál, nová předsíň a šnekové schodiště na novou kruchtu. Zřejmě mezi lety 1500–1510 byla z kapacitních důvodů přistavěna na severní straně (směrem k návsi) další loď, takže kostel dosáhl podoby síňového čtyřlodí se síťovou klenbou na devíti polygonálních pilířích, v níž se dochoval dodnes. V roce 1873 shořela střecha kostela, byla však brzo obnovena.

Věž je hranolová o čtyřech patrech. Ve čtvrtém patře má čtyři větší, půlkruhově zaklenutá okna, pod nimiž jsou hodiny. Věž má stanovou střechu s prejzovou krytinou. Na ose hřebene proti věži je malá vížka – sanktusník. Nad loďmi je sedlová střecha, stejně jako nad kněžištěm a sakristií, přičemž nad loďmi má hřeben vyšší úroveň. Všechny vchody mají žulové ostění.²