La visita all’Abbazia inizia dal portale d’accesso della chiesa, formato da due colonne in marmo, di epoca romana, che sorreggono un archivolto realizzato con laterizi romani e una lunetta al cui centro campeggia lo stemma dell’ordine benedettino: una croce greca che alterna ai quattro bracci altrettanti dischi. Al di sopra un’edicola custodisce l’immagine della Madonna che allatta il Bambino. Oltrepassato il portale si scendono alcuni gradini che conducono in un ambiente irregolare, voltato a crociera. Questo primo avancorpo,  all’incirca coevo alla chiesa romanica, formava un vero e proprio nartece. Sulla sinistra si può ammirare uno splendido sarcofago strigilato risalente alla fine del Ill secolo con due leoni che addentano due cinghiali.

Questo ambiente precedeva un piccolo atrio scoperto, una sorta di triportico, che venne successivamente voltato dai guglielmiti. Anche in questo spazio si trova un sarcofago ma più tardo del precedente. La parete con le due finestre e il portale che immette nell’aula liturgica è la parte inferiore di quella che un tempo era la facciata vera e propria della chiesa romanica. Sugli stipiti del portale sono ancora visibili gli incassi del sistema di chiusura del portone. Si arriva così nella navata centrale della chiesa: la pianta è longitudinale e si sviluppa in tre navate, ciascuna delle quali termina con un’abside. All’interno è possibile ammirare varie tecniche costruttive medievali: si riconoscono murature con conci di calcare, filari di laterizi nelle porzioni centrali e negli archi e infine tufelli nelle parti superiori.

Le navate sono suddivise da una serie di archi che poggiano su quattro colonne di reimpiego e due pilastri per lato. Interessanti sono i capitelli del colonnato in stile ionico di età severiana le cui forme furono riprodotte in altri due di epoca medievale (i primi due sul lato destro).

Dalla navata sinistra si scende alla cripta al disotto del presbiterio dove, fino agli anni Settanta, l’acqua della sottostante falda acquifera si infiltrava e ristagnava. Quest’acqua era ritenuta miracolosa a tal punto che in occasione della festa della nascita di s. Giovanni Battista (24 giugno) i palombaresi vi si immergevano o la bevevano per ottenere benefici. La navata sinistra è occupata da un ambiente sopraelevato che funge da base quadrangolare al campanile: all’interno si trova una piccola abside decorata da un affresco, databile al XI o XII sec., raffigurante san Michele arcangelo. Alcuni studiosi ipotizzano si tratti di una schola cantorum mentre altri sostengono possa essere una cappella cosiddetta “aerea”, tipica dell’ambiente franco di età carolingia e ottoniana. Dinanzi ai gradini che conducono al presbiterio si può notare nella pavimentazione una disposizione differente di alcuni laterizi rispetto a tutti gli altri: testimoniano la presenza al di sotto dell’attuale pavimento di tre porzioni di muro del primitivo oratorio risalente al VI-VIII sec., notevolmente più piccolo rispetto alla chiesa attuale del XII secolo.

Nella navata destra si può ammirare la pergola marmorea di Centurius: prende il nome dall’artista che la realizzò e che firmò il suo lavoro lungo l’architrave. Si tratta di un bell’esempio di cosmatesco, datato al 1170. Nella pergola si riconosce anche un’epigrafe romana nella base della prima colonnina di sinistra; meravigliosi sono anche i pregiati marmi (il marmo bianco, il verde antico e il porfido rosso) che decorano le due lastre.

Situato al centro del presbiterio, al di sopra dell’altare in muratura, si innalza il ciborio vero e proprio capolavoro: su quattro colonne di marmo di riuso, una delle quali ricavata da un’epigrafe sbozzata per renderla cilindrica, altrettanti capitelli in stucco sorreggono le lastre dello stesso materiale ornate da un nastro che forma diversi intrecci a rete su tutta la superficie dal disegno continuo e omogeneo mentre sulla ghiera dell’arco presentano una trama intrecciata di nodi multipli. Lo si data all’XII secolo, opera di maestranze oltramontane. Sulla destra, appoggiato al muro, si può ammirare il tabernacolo costituito da due colonne tortili e un timpano con tracce della decorazione pittorica.

All’inizio della navata destra si possono ammirare gli unici due riquadri superstiti di un più esteso ciclo che raffigurava la vita di san Guglielmo di Malavalle, fondatore dei guglielmiti. Si scorgono anche una testa di un santo e la figura intera di un monaco con il donatore ai suoi piedi. I due riquadri sono ripresi dalla Vita, redatta da Teobaldo nel XIII sec., che fondeva la vita di san Guglielmo di Malavalle con alcuni episodi della vita di san Guglielmo duca d’Aquitania. Gli affreschi, databili verso la fine del XIV sec., rappresentano infatti Guglielmo d’Aquitania, convinto oppositore di papa Innocenzo II, che si converte dinanzi a un miracolo di san Bernardo di Chiaravalle che fece inginocchiare il suo cavallo dinanzi all’ostia consacrata. Miracolosamente giunto fino a noi, è l’affresco – molto interessante – che si può ammirare su quella che un tempo era la parte alta della facciata della chiesa, oggi all’interno di uno degli ambienti ricavati dai guglielmiti e a cui si accede dal vialetto sulla sinistra della chiesa. Rappresenta gli angeli in adorazione della croce e si rifà a modelli romani. Il dibattito circa la sua datazione è ancora molto acceso.

Il campanile, alto quasi trenta metri, fu costruito tra l’XII e il XIII sec. e si sviluppa su quattro livelli: i primi presentano monofore, mentre gli altri due eleganti trifore composte da colonnine di marmo e capitelli con profili molto variegati. Le murature esterne della chiesa sono abbellite da una serie di archetti pensili raggruppati a tre dalle lesene, a ritmo di due invece per l’abside centrale. Una cornice di mattoni a dente di sega e mensolette in marmo corre su tutta la lunghezza dei fianchi e delle absidi. Sulla sinistra si scorgono le antiche sostruzioni dell’edifico romano da cui scaturisce la sorgente d’acqua raccolta all’interno di due sarcofagi. Verso valle si ammirano i ruderi degli ambienti di vita monastica, ultimo intervento edilizio realizzato dai guglielmiti, che sorgono intorno al chiostro mai terminato.