우리 시스템이 감당할 수 있는 초당 최대 처리량입니다.
마트의 모든 계산대를 최대로 가동했을 때, 1분 동안 계산을 마칠 수 있는 최대 손님 수와 같습니다. 예를 들어 10개의 계산대가 1분에 각각 2명씩 처리한다면, 마트의 용량(μ)은 "20명/분"입니다.
특별한 이벤트가 없을 때, 시스템이 평균적으로 처리하고 있는 초당 요청 수입니다.
한가한 평일 오후, 마트 계산대에서 보통 계산하고 있는 손님 수입니다. 전체 용량은 "20명/분"이지만, 평소에는 "5명/분" 정도만 처리하고 있을 수 있습니다. 이 "5명/분"이 평상시 로드(λ₀)입니다.
특정 이벤트로 인해 아주 짧은 순간에 한꺼번에 쏟아져 들어오는 요청의 총 개수입니다.
갑자기 수학여행을 온 학생 100명이 동시에 마트로 들어와 각자 물건을 들고 계산대로 한꺼번에 몰려드는 상황입니다. 이 "100명"이 버스트 요청 수(M)입니다. 시스템은 이 100개의 요청을 최대한 부하 없이 처리해야 합니다.
요청 하나를 처리하는 데 걸리는 시간을 의미하며, 안정적인 측정을 위해 95 백분위수(p95) 값을 사용합니다.
손님 한 명을 계산하는 데 걸리는 시간입니다. 대부분의 손님은 1분 안에 계산이 끝나지만, 물건이 아주 많거나 쿠폰 문제로 오래 걸리는 손님이 있을 수 있습니다. "전체 손님의 95%는 3분 안에 계산이 끝난다"라고 할 때, 이 "3분"이 p95 서비스 시간(s)입니다.
시스템이 '위험' 상태에 빠지지 않으면서 추가로 동시에 처리할 수 있는 요청의 개수입니다.
현재 5개의 계산대를 운영 중(평상시 로드)인데, "손님이 갑자기 몰릴 경우를 대비해 바로 투입할 수 있는 예비 계산원 2명"이 있다고 가정해 봅시다. 이 "2명"이 바로 여유 동시 처리 슬롯(K)입니다.
우리가 설정한 지터(Jitter) 전략이 실패할 확률, 즉 버스트 요청을 감당하지 못하고 시스템이 과부하에 빠질 것을 용납할 확률입니다.
"우리가 세운 비상 대책(예비 계산원 투입 등)이 99%의 확률로 갑자기 몰린 단체 손님을 감당할 수 있을 거야"라고 말할 때, 실패할 확률인 1%가 바로 허용 오류율(ε=0.01)입니다.