El emperador Pachacuti (o Pachacútec) comenzó a construir la ciudadela en la década de 1440, pero el enorme complejo no se completó hasta casi 100 años más tarde. Hoy en día sólo una fracción de la estructura original sigue en pie, el resto había sido derribado por los españoles para construir casas en Cusco. Sin embargo, lo que aún queda es notable.

La característica más impresionante podría ser las paredes exteriores de 66 pies (20 m) de altura, que todavía están intactas y calzando perfectamente, resistiendo terremotos, batallas y el tiempo. A pesar que la mayoría de las piedras pesan más de 300 toneladas, están colocadas perfectamente, al estilo Inca reservado para las estructuras importantes. Se cree que en la antigüedad, esta zona fue probablemente utilizada para reuniones ceremoniales. Hoy en día, los visitantes pueden tener la suerte de apreciar una de las muchas ceremonias del sol que todavía se celebran durante todo el año.

En 1536, la fortaleza fue el escenario de una de las batallas más amargas de la conquista española, provocados por la rebelión de Manco Inca. El ejército del líder de la resistencia inca logró apoderarse de Sacsayhuamán de los españoles, una de las únicas victorias de los nativos contra los conquistadores. Sin embargo, el triunfo fue de corta duración y 50 caballerías españolas dirigida por Juan Pizarro, hermano de Francisco, logró recapturar Sacsayhuamán y esencialmente poner fin a la rebelión.

Mientras que Manco Inca sobrevivió y escapó hacia la fortaleza de Ollantaytambo, la mayor parte de sus fuerzas, saltaron, muriendo desde las torres altas para evitar ser asesinados por los españoles. A la mañana siguiente, los cóndores se deleitaron con la gran cantidad de cadáveres, una imagen capturada para siempre en el escudo de armas de Cusco.

En Quechua el nombre Sacsayhuamán significa "halcón satisfecho", aunque los viajeros se refieren a menudo como "mujer sexy".