Aunque las modernas CPU tienen una preocupación primordial en mantener
sus pipelines de procesos llenos de instrucciones y datos, esto se esta
convirtiendo cada vez en una tarea mas complicada debido a que, si bien el
rendimiento de la CPU se duplica cada 18 ó 24 meses, la velocidad de los chips
DRAM que constituyen la memoria principal sólo se incrementan en un pequeño
porcentaje.
La memoria
caché de alta velocidad que actúa como buffer entre la memoria
principal y la CPU constituyen un factor cada vez mas importante en el
rendimiento total.
Es por esta razón que todos los ordenadores se organizan alrededor de
esta jerarquía de almacenamiento, con los elementos mas rápidos en la parte de
arriba y los mas lentos, menos costosos y mas densos en la parte de abajo.
En lo alto de esta jerarquía se encuentran los registros, de los que
habitualmente hay 64 (32 para enteros y 32 para coma flotante) para un total de
256 bytes de una CPU corriente. La caché constituye
el siguiente nivel de la jerarquía: el tamaño habitual oscila entre los 16 KB
y los 256 KB, y el tiempo de acceso es del orden de unos pocos ciclos de CPU.
Con la llegada de las caché en el microprocesador, muchas maquinas cuentan
ahora con un segundo nivel de caché, fuera del microprocesador.
La jerarquía de almacenamiento funciona porque los programas no acceden
a la memoria al azar. Si un programa accede a una palabra de la memoria, hay
muchas probabilidades de que en un futuro cercano acceda a la misma palabra.
Asimismo hay muchas posibilidades de que en un futuro cercano acceda a una
palabra próxima a la que había accedido. Estas dos observaciones se conocen
como los principios de localidad temporal y espacial.