In alto, sopra il paese di Nalles, su una roccia a forma di naso con tre lati in ripida pendenza, che si erge al margine della gola del rio Sirmiano, troneggia la rovina Payersberg. La roccaforte fu costruita nel primo trimestre del XIII secolo da Payr, citato dal 1165 quale ministro del Conte di Appiano. L'accesso al torrione rettangolare a quattro piani, situato nell'area più soggetta agli attacchi, avveniva attraverso una porta collocata al secondo piano. Al terzo piano, abitato, si giungeva attraverso una scala che portava in alto. Allo stesso piano si trova l'apertura di una finestra ampia quattro metri; un camino a punta dal rivestimento tondeggiante manteneva calda la stanza. Passando attraverso un portoncino si poteva accedere al cammino ligneo della ronda, che si snodava attorno al torrione. A sud del torrione e protetto da esso, si trovava il piccolo palazzo, oggi in rovina. Ad est, sono ancora visibili i resti della cappella della roccaforte in stile tardo gotico. La roccaforte fu ristrutturata nel XVI secolo sotto il cavaliere Jakob von Boymundt-Payersberg e fu dotata di nuove fortificazioni. Allo stesso periodo risale la costruzione della porta settentrionale, con l'attuale portone di ingresso e il bastione circolare. Sopra il portone si trova lo stemma dei Payersberg con l'anno 1560. Già Marx Sittich von Wolkenstein, però, che redisse una descrizione regionale attorno al 1600, riferiva che Payersberg era decaduto e non più abitabile. Evidentemente questa trascuratezza aveva a che fare con l'edificazione di Castel del Cigno/Schwanburg a Nalles, che rispondeva meglio alle esigenze di uno stile di vita più confortevole. Fino all'estinzione dei conti von Payersberg, nel 1791, la roccaforte restò in loro possesso. Oggi appartiene alla famiglia Malpaga e funge da appartamento e da edificio di servizio per la rispettiva azienda agricola. A Sirmiano di Sopra, accanto al Rainerhof, il maso dalla posizione più elevata del comune di Nalles, si scorge un edificio simile ad una torre, che si distingue nettamente dai masi circostanti e manifesta immediatamente la sua appartenenza ad una roccaforte di cavalieri. Si tratta della cosiddetta Jagdturm (la torre della caccia), che fungeva da luogo di soggiorno del conte von Payersberg durante i periodi di caccia e nelle estati calde. La straordinaria torre di Castel Payrsberg, che troneggia, alta, sul paese di Nalles ed è visibile da molto lontano, è l'emblema del paese e impreziosisce l'attuale logo della località di Nalles.
Castel Payersberg è stato ristrutturato nel 2024 ed offre da allora una location di prima classe per momenti indimenticabili. La struttura di nuova concezione, con la sua vista panoramica, è ideale per una varietà di occasioni, come matrimoni, concerti, feste aziendali, compleanni o conferenze.