Eretto a partire dal 1470 sul luogo  dell'antica cattedrale, è un edificio a pianta quadrata con torri angolari clindriche, un tempo utilizzate come segrete per i prigionieri.
La fisionomia del complesso, unitaria all'esterno, denuncia successivi interventi nel cortile, sul quale prospettano un loggiato cinquecentesco e l'ala nord-ovest, del XVII-XVIII secolo.
Il Castello ospita il Museo Archeologico Nazionale, che espone materiali venusini e un lapidario con iscrizioni latine ed ebraiche. Non lontano, in via Melfi, si trova un rudere indicatocome la tomba di Marco Claudio Marcello, console romano caduto presso Venosa nel 208 A.C.; le suppellettili femminili ritrovate nell'urna cineraria hanno però smentite questa ipotesi.