Un hôtel particulier est organisé comme un condensé de Château classique en ville. Le corps de bâtiment généralement en "U" s'inscrit entre cour et jardin.
L'Hôtel La Touche Tréville est l'un des rares Hôtels particuliers de Rochefort organisés sur ce modèle avec l'Hôtel des Cheusses et l'Hôtel d'Amblimont. Son portail sculpté ferme la cour sur la rue. La façade du corps principal est composée de quatre travées et de trois niveaux, le dernier étant en attique. Les ailes en retour sur la rue sont plus étroites et composées de six travées sur la même élévation mais sans les deux lucarnes engagées de la façade principale. Le hall et la cage d'escalier avec sa rembarde en fer forgé sont disposés à l'extrémité d'une aile attenant au corps principal. La façade sur jardin se compose de huit travées régulières.

Le portail reçoit avec l'écu et la couronne les seules décorations de cet hôtel construit au début du 18ème siècle.

Louis-René Madelaine Levassor de La Touche naît sans doute dans cet Hôtel. Il deviendra vice-amiral et commandera l'Hermione qui emmenera à son bord le marquis de Lafayette porter le soutien de la France aux insurgés en Amérique le 11 mars 1780. En 1787, c'est son oncle La Touche Tréville qui vend l'Hôtel à la ville pour y loger ses deux bataillons ordinaires. Une guérite est attenante au portail. La caserne La Touche Tréville construite sur la façade du même ilôt recevra plus tard les militaires dans un bâtiment conventionnel.