20 - 캐시 메모리

저장 장치 계층 구조 (Memory hierachy)

저장장치는 일반적으로 다음과 같은 명제를 따른다.

1. CPU와 가까운 저장 장치는 빠르고, 멀리 있는 저장 장치는 느리다

2. 속도가 빠른 저장 장치는 저장 용량이 작고, 가격이 비싸다.

이렇듯 저장 장치 간의 장단점은

명확하기 때문에 컴퓨터에서는

다양한 저장 장치를 사용한다.

 

이러한 저장 장치들은

CPU에 얼마나 가까운가를 기준으로

계층적으로 나타낸 것을

저장 장치 계층 구조라고 한다.

캐시 메모리 (Cache memory)

캐시 메모리는 CPU와 메모리 사이에

위치한 SRAM 기반의 저장 장치이다.

 

위치적인 특징에 의해

저장 장치 계층 구조에서

레지스터 다음에 위치하고 있다.

 

캐시 메모리는 CPU가 사용할

일부 데이터를 미리 가지고 옴으로

메모리 접근 속도를 향상시킨다.

 

참조 지역성 원리

참조 지역성 원리란

CPU가 메모리에 접근할 때의

주된 경향을 바탕으로 만들어진 원리이다.

 

이러한 주된 경향에는

시간 지역성과 공간 지역성이 있다.

 

시간 지역성이란,

최근에 접근했던 메모리 공간에

다시 접근하려는 경향을 의미한다.

 

#include <iostream>
using namespace std;
int main() {
    int a = 0;
    for (int i = 0; i < 5; i++) {
    	cout << a + i << "\n";
    }
}

위 코드를 살펴보면

변수 a를 선언한 후에 a에 다시 접근하여

계산 및 출력하는 경향이 있다.

이러한 경향을 시간 지역성이라 한다.

 

공간 지역성이란

접근한 메모리 공간 근처를

접근하려는 경향을 의미한다.

 

캐시메모리는

이러한 참조 지역성의 원리에 입각해

CPU가 사용할 데이터를 예측한다.

 

캐시 적중률 (Cache hit ratio)

캐시 적중률은 참조 지역성 원리에 입각해

CPU가 사용할 데이터가

제대로 예측된 비율을 의미한다.

 

캐시 적중률 = 캐시 히트 횟수 / (캐시 히크 횟수 + 캐시 미스 횟수)

캐시 적중률은

위와 같은 식으로 계산할 수 있고,

 

캐시 적중률이 높을 수록

CPU가 메모리에 접근하는 횟수를

줄일 수 있다.