Esso rappresenta una svolta nell'architettura militare valdostana. Si tratta infatti del primo castello monoblocco della Valle, fase evolutiva del castello medievale che segna il passaggio tra i grandi manieri come Fenis e le severe forme militari di forti come Verres.
Diversamente da altri manieri che in questo periodo furono ampliati e modificati, Ussel fu costruito ex-novo e possiede un grande valore da un punto di vista storico perché, non avendo subito altri interventi edilizi dopo la costruzione, ha potuto conservare le sue caratteristiche originarie.

La pianta del castello è rettangolare e di notevoli dimensioni, con i due lati più lunghi rivolti a sud sul sentiero che conduce al castello e a nord a dominare la vallata sottostante. La sua posizione lo rende inaccessibile da tre lati, sottolineandone la funzione difensiva. Il castello è costruito sulla viva roccia che, affiorando all'interno dell'edificio, in alcune parti fa variare da tre a due i piani da cui è costituito.

L'aspetto marziale del castello è in parte ingentilito dalla fascia sommitale di archetti esterni e dalle bellissime bifore, tutte diverse tra loro e decorate con forme geometriche e floreali. Sulla sommità del castello, agli angoli del lato sud, si trovano due torrette circolari, in origine collegate tra loro da un camminamento di ronda protetto da una merlatura. Al centro del medesimo lato si trova anche una piccola torretta rettangolare. Il lato nord presenta invece due torri quadrangolari, tra le quali si eleva al centro la torre del mastio.

Ussel fu abitato dalla famiglia Challant fino al 1470, poi col passare del tempo il castello subì la stessa sorte di quasi tutti i manieri della valle. Da abitazione venne prima utilizzato come prigione, e poi progressivamente abbandonato e spogliato di tutti gli arredi, fino a cadere completamente in rovina.
Nel 1983 il barone Marcel Bich (l'inventore della celebre penna), dopo aver acquistato il castello dalla famiglia Passerin d'Entreves, erede degli Challant, lo donò alla Regione con la clausola che provvedesse al restauro e ad aprirlo al pubblico.

Una accurata indagine archeologica e imponenti lavori di restauro hanno permesso di ricostruire il castello nell'aspetto attuale, del quale è possibile ammirare gli originali muri perimetrali e la ricostruzione di alcuni solai.
I lavori di restauro sono stati terminati nel 1998, e da allora il castello è aperto al pubblico in occasione di mostre ed esposizioni.
All'interno rimangono i monumentali camini, posizionati in modo da sfruttare un' unica canna fumaria, e tracce delle scale e delle divisioni tra piani.
La nuova copertura del castello, concepita in modo innovativo con una cupola a botte trasparente, permette di accedere anche al tetto e di percorrere il cammino di ronda, dal quale è possibile ammirare la vista sulla valle sottostante (e il forte vento sempre presente!).

Come raggiungerlo
Per raggiungere il castello di Ussel bisogna uscire dall'autostrada a Chatillon e dal centro del paese seguire le indicazioni stradali per salire sulla collina che domina il paese dal lato opposto della Dora.