El templo, que carece de protección específica para su conservación, perteneció al despoblado de Borque, según Hispania Nostra.
La ermita de San Millán, en el término de Velilla de los Ajos ha entrado en la Lista roja del patrimonio, una calificación que ampara la entidad Hispania Nostra. Desprendimientos y derrumbe de sus paramentos debido a las filtraciones de las coronaciones producidas por la pérdida de la cubierta, son las causas de esta catalogación para un bien que carece de protección específica.
Según Hispania Nostra, el edificio se encuentra en estado de ruina progresiva, y la pérdida de la cubierta ha provocado el derrumbamiento de algunos sectores de la nave y hace peligrar la estabilidad del arco de triunfo y la cabecera.
La ermita se encuentra situada a poco más de tres kilómetros de Velilla, en torno a la que se desarrolló el histórico despoblado de Borque. Conserva las ruinas de una atalaya circular musulmana del siglo X, y a sus pies, la ermita de siglo XIII.
Apenas hay referencias históricas de este lugar durante la Edad Media, aunque se supone su nacimiento posterior a 1128, año en el que Alfonso I el Batallador repuebla Almazán, a cuya Comunidad de Villa y Tierra pertenecía. En la Estadística de 1353 de todas las parroquias de la diócesis de Sigüenza se citan juntas las de Velilla y Bonorque, no debiendo ser demasiado relevantes.
El edificio es muy sencillo y está compuesto por nave única y cabecera de tramo recto y ábside semicircular realizado en mampostería con refuerzo de sillares en vanos y esquinas, sin mas bóvedas que una cubierta de madera ahora perdida. Los muros de la cabecera están rematados por una gruesa cornisa de ancho listel y minúscula nacela sobre canecillos nacelados.
De la nave románica original, solo se conservan las esquinas orientales, hechas de sillería. Se separa de la cabecera por un arco triunfal cerrado que es el elemento más llamativo. En una de las dovelas del lado norte se ve un cuadrúpedo en abultado relieve, con larga cola, devorando una cabeza. Descansa sobre impostas de nacela, cada una con cuatro figurillas humanas de escaso detalle que cruzan sus manos sobre el pecho. Las anchas pilastras tienen talladas en el frente dos semicolumnas, con bocel entre ambas, y con un regruesamiento en la parte superior, como si quisiera representar un atrofiado capitel. Esta cabecera es un modelo atípico dentro del románico soriano, especialmente por su peculiar arco triunfal.