Al lado de la iglesia está situado el ex- monasterio de los agustinos.
Fue construido a partir de la mitad del siglo XIII y se caraterizaba por un único claustro rodeado por el salón capitular, el dormitorio y el refectorio según el esquema cuadrangular típico de las estructuras agustinas.
A pesar de las modestas dimensiones, ya en el 1300 tenía un papel de principal importancia siendo la sede de uno de los cursos quinquenales de habilitación a la enseñanza conocidos como “Studia Generalia”, para los hermanos que hubieran trabajado en las provincias de la Orden.
Entre el 1500 y el 1600 la estructura fue un poco modificada: construyeron una nueva sala capitular ya que la anterior fue transformada en la capilla privada de la noble familia senesa de los Piccolomini, añadieron un segundo claustro y varios edificios alrededor para distintas utilizaciones como dormitorio, refectorio, enfermería.
En los últimos años del siglo XVI realizaron la nueva biblioteca pintada por el pintor Apollonio Nasini.
En 1798 todo el complejo fue destruido por un fuerte terremoto que desconcertó a toda la ciudad, por esta razón iniciaron su restauración que fue comisionada al arquitecto senés Francesco Paccagnini.
Después de las supresiones napoleónicas de los monasterios, en 1808 lo transformaron en Liceo Clásico confiando en el trabajo de los arquitectos
Agostino Fantastici y Lorenzo Turillazzi.
Con la caída del gobierno francés en 1814 abandonaron esta idea. Dos años después lo compraron los Padres Escolapios que ya desde mucho tiempo se ocupaban de la instrucción de los estudiantes del Colegio Tolomei, una institución nacida en 1676 por voluntad del noble Celso Tolomei para educar a los jóvenes aristocráticos de las familias de Siena y de su Estado. Para adaptar al ex- monasterio agustino al uso de colegio fue una vez más llamado al Fantastici.
Sobreelevaron los salones, las habitaciones más grandes fueron reducidas, construyeron una grande escalera monumental al interior, destinaron el piso superior para las habitaciones y la parte inferior fue utilizada para los servicios y salones comunes. Los trabajos terminaron el 10 de noviembre del 1820 con una solemne inauguración.
Desde aquel momento la historia del ex- monasterio agustino fue totalmenete relacionada con las vicisitudes del Colegio que fue transformado en “Convitto Nazionale” en 1883 y funcionó como tal hasta su conclusión en 1997.
Actualmente es la sede del Gimnasio ciudadano del Colegio.