L’aspetto odierno di villa Rufolo è in gran parte coincidente con la risistemazione ottocentesca realizzata dallo scozzese Neville Reid, che ne fu il proprietario nella seconda metà dell’800; il sito però è molto più antico, come attestano i numerosi resti delle fasi due-trecentesche della costruzione.

La famiglia Rufolo ebbe il suo momento di gloria nell’arco di non più di un trentennio, che va dalla metà del XIII secolo al 1285 quando, secondo Widemann, essa fu completamente rovinata per essersi schierata, al tempo dei Vespri Siciliani, contro gli Angioini. Già durante il regno dei Normanni, era una facoltosissima famiglia di mercanti, inserita nel circuito di scambi commerciali e culturali insieme che legava tutto il Mediterraneo, dall’Africa del Nord ai paesi orientali di greca e araba; un circuito di antica tradizione, che aveva fatto sì che la parte meridionale della Campania acquisisse come propri alcuni caratteri dell’architettura e dell’arte di questi paesi. I Rufolo favorirono, con apporti economici e di uomini, la venuta degli Angioini nell’Italia del sud, e furono da questi ricompensati con particolari privilegi.

Quando la loro potenza raggiunse l’apice, essi ricostruirono la loro "casa", che doveva essere rappresentativa del nuovo status ed essere quindi grandiosa, principesca, ricca; e certamente nelle tipologie architettoniche e decorative arabe e bizantine, fuse con altri elementi della cultura locale, essi trovarono il linguaggio adatto a esprimere tutto ciò.

Queste circostanze fecero della villa Rufolo un unicum, che rimase per secoli nella fantasia popolare come l’immagine della "villa dalle trecentossantacinque stanze".

Nel periodo della sua massima espansione il territorio della villa si estendeva fino al mare, in località Marmorata; nei secoli successivi ebbe inizio la sua lenta decadenza per i frazionamenti della proprietà, i cambi di destinazione d’uso ed i crolli causati dai terremoti e dall’incuria. Sparirono così molte parti della villa, tra cui i chiostri di cui si ha notizia da una cronaca del tardo Cinquecento; alcuni ambienti si trovano tuttora al di sotto dei piani di calpestio attuali. In particolare, intorno al 1713 una forte scossa sismica distrusse parte del chiostro e determinò la costruzione dei quattro piloni che oggi si vedono, infelice risultato di un consolidamento che nega finanche la lettura spaziale della struttura forse più interessante, tra quelle appartenenti alla fase antica della villa, che è giunta fino a noi.

Nell’Ottocento la villa fu acquistata dunque da Neville Reid, che ne operò il "restauro" secondo la cultura dell’epoca, fortemente condizionata dal gusto romantico del rudere ; egli ristrutturò la fabbrica principale per uso abitativo, e configurò i giardini realizzando una serie di terrazzamenti che spesso fece poggiare sulle strutture antiche della villa, utilizzandole come fondazioni e muri di contenimento. E’ noto che la bellezza di questi giardini fu tale da suggestionare il musicista Wagner, come attesta la targa affissa all’esterno del lapidarium.

Nel 1974 la Villa è stata acquisita al patrimonio pubblico dall’Ente Provinciale per il Turismo di Salerno.

Attualmente la Villa è sede  della Scuola di Perfezionamento di Pianoforte diretta da Michele Campanella, ed ospita durante l’anno numerose manifestazioni culturali quali concerti (tra i quali quelli dedicati a Wagner, di respiro internazionale) convegni, seminari, corsi, organizzati dalla Società dei Concerti di Ravello, dal C.U.E.B.C., dall’Ente Provinciale per il Turismo e dalla Provincia di Salerno.

Villa Rufolo's today's look comes mostly from the arrangement carried out by the Scotsman Neville Reid, who owned the Villa in the second half of the 19th century. But the site is much older, as it is given evidence of by the remains from the 13th-14th century period of the building. The Rufolos' splendour reached its peak from the half of the 13th century to 1285 when, according to Wiedemann, the Rufolos were completely ruined because they sided against Angevins during the Sicilian Vespers. At Norman times the Rufolos were already wealthy merchants, well placed in the commercial and cultural exchanges of the Mediterranean, from Northern Africa to the Eastern Greek and Arab speaking countries, which influenced constantly the Southern Campania's art and architecture.

The Rufolos helped the Angevins to come to Southern Italy and they were rewarded with particular privileges. When their power reached its peak, they built again their "house", which was representing their new political power and therefore, it was gorgeous, princely, rich; at that time it extended as far as the sea. The Rufolos succeeded in finding, out of the Arab and Byzantine influences, an architectural language able to express their social status with an architectural image which had no connection at all with the new sovereigns' artistic culture, as if it could stress their political autonomy from the Angevins. These circumstances made Villa Rufolo something unique in its kind, creating an image which was handed down by the popular imagination as the "one hundred sixty-five rooms villa".

In the following centuries the Villa slowly fell into decay because of the property subdivisions and of the collapses due to earthquakes and to negligence. Many parts were then lost and some rooms still lie under the present floor. In the 19th century the Villa was bought by Neville Reid, who carried out its restoration, according to the culture of the time, deeply influenced by the romantic taste for ruins. He restructured the principal building for housing, arranged the gardens to create a series of terraces, which often rested on the ancient structures. It is well known that the beauty of these gardens was such as to influence R. Wagner. In 1974 Villa Rufolo became part of public heritage thanks to the Ente Provinciale per il Turismo of Salerno and nowadays it hosts several musical events; it is the headquarters of the European University Centre for Cultural Heritage and of the Piano High School directed by Michele Campanella.