Situé à deux cents mètres à peine du front nord-est de l'enceinte, l'emplacement du futur Collège de l'Oratoire dominait la cité de dix mètres environ. Cette position dominante lui a donné, depuis l'époque gallo-romaine jusqu'au XVI° siècle, une certaine importance militaire et lui a valu, aux périodes troublées, bien des bouleversements avec des aspects très différents. De la simple découverte dans cet emplacement de quelques pierres de grand appareil grossièrement taillées, avec des joins obliques comme celles du castrum de Jublains, l'auteur de la Cénomanie romaine n'a pas hésité à conclure qu'en cet endroit s'élevait la citadelle gallo-romaine.

L'histoire ayant toujours à se tenir en garde contre les imaginations trop vives, nous nous bornerons à rappeler qu'en 1848, on découvrit dans le jardin du Collège un trésor de 13926 monnaies romaines en argent, appartenant aux deux cents dernières années de la République et aux règnes d'Auguste et de Tibère. Le catalogue de ces monnaies a été soigneusement dressé et publié par E. Rucher, qui a cru pouvoir dire qu'elles avaient été enfouies sous Tibère. Le fait est déjà fort intéressant en prouvant qu'avant même le milieu du premier siècle de l'ère chrétienne, la ville du Mans, capitale des Cénomans, était pénétrée par le commerce et l'argent des romains. Mais on n’en saurait déduire aucune indication sur l'aspect que présentait alors le sol où le trésor a été trouvé.

Au commencement du VIII" siècle seulement, on voit l'évêque Herlemund (G9CJ-721) établir près des murs de la cité, sous le vocable de Saint-Ouen, un petit monastère-hôpital desservi par douze moilnes et destiné à recueillir les pélerins étrangers. Au XIe siècle, après bien des vicissitudes qui ont exigé l'intervention de Charlemagne ,à son passage au Mans vers 784, celle de Louis le Débonnaire en 832, ce premier établissement devient le prieuré de Saint-Ouen des Fossés, dépendant de l'abbaye Saint-Aubin d'Angers et doté d'une certaine étendue de terre par un chevalier nommé Fulchoius de Mortariola Il serait téméraire de prétendre préciser les limites de ces terres. D'une part, le prieuré comportait, en plus de l'église bientôt paroissiale de Saint-Ouen des Fossés et de ses abords, une annexe d'environ cinq kilomètres carrés, entre Coulaines, Sargé et Neuville .

D'autre part, Geoflroy Plantagenet ayant reconnu au Chapitre de la Cathédrale, par un acte du 15 août 1140, la propriété des fossés de l'ancien camp retranché depuis le Mont-Barbet jusqu'à l'église Saint-Ouen, et s'étant réservé lui-même la propriété des deux mottes qui formaient les forts avancés de la défense du château, les moines ne devaient pas être au large sur leurs pentes. Vers le même temps, le prieuré de Saint-Ouen est cité à l'occasion d'un évènement tragique. Un jour de l'année 1137, vers midi, le feu s'était déclaré dans le faubourg Saint-Vincent et les flammes se propageant avec une effroyable rapidité.