Luego de la derrota de 1536 en Saksaywaman, el gobernante y líder de la resistencia inca Manco Inca Yupanqui se había retirado a Ollantaytambo. En un intento por capturarlo, Hernando Pizarro, medio hermano menor de Francisco Pizarro, lideró un ejército de soldados a pie y a caballo hasta Ollantaytambo. El ejército de Manco Inca no permitió el acercamiento de los españoles utilizando flechas, lanzas y piedras desde lo alto de las empinadas terrazas, impidiendo así la escalada a la fortaleza. En una acción ingeniosa, Manco Inca inundó la llanura debajo de la fortaleza a través de canales que había preparado antes de la batalla. Viendo que era imposible avanzar con sus caballos, los españoles se vieron obligados a retirarse y luego fueron perseguidos por miles de soldados de Manco Inca.

Este no sólo fue el sitio de una fortaleza muy eficaz sino también un templo, con un centro ceremonial donde los incas podían adorar en lo alto de las terrazas. También se cree que fue refugio de campo para la realeza y nobleza inca. La fortaleza fue construida con piedras traídas de una cantera a unas 4 millas (6 km) de distancia, muy por encima de Río Urubamba. Para transportar los enormes bloques de piedra a través del río, los incas tuvieron que desviar todo el canal de agua a su alrededor.

El ascenso hasta la cima del centro ceremonial permite obtener unas vistas panorámicas del Valle Sagrado, incluidos los ríos Patacancha y Urubamba. Aquellos con un ojo agudo serán capaces de distinguir el rostro de un viejo hombre formado por rocas de la montaña frente a las ruinas.

Para ver las populares y espectaculares ruinas de la Fortaleza, es recomendable visitarlas temprano en el día, antes de que el sol desaparezca sobre las montañas.