LLM 파라미터 표

두 열은 모두 KV 캐시의 요소 수입니다. KV/토큰은 토큰 하나를 처리할 때 늘어나는 요소 수입니다. KV/샘플은 요청이 충분히 길어졌을 때 더 늘지 않고 고정되는 요소 수입니다. 바이트로 바꾸려면 저장 dtype의 바이트 수를 곱합니다.

KV/토큰은 레이어마다 토큰 하나가 차지하는 요소 수를 구하고, 어텐션 레이어의 값을 모두 더해서 만듭니다.

전체 어텐션 레이어는 토큰마다 키와 값을 하나씩 저장합니다. 레이어당 요소 수는 2 × KV 헤드 수 × 헤드 차원입니다. 값 헤드 차원이 키 헤드 차원과 다르면 키에는 헤드 차원을 쓰고 값에는 값 헤드 차원을 씁니다.

MLA 모델은 키와 값을 따로 저장하지 않고 레이턴트 벡터(latent) 하나를 저장합니다. 레이어당 요소 수는 kv_lora_rank + qk_rope_head_dim입니다. DeepSeek처럼 attn.wkv 가중치가 있으면 그 출력 차원을 씁니다. rope 차원은 그 출력 차원 안에 들어 있으므로 따로 더하지 않습니다.

압축 어텐션 모델은 레이어마다 압축비를 가집니다. 레이어당 요소 수를 압축비로 나눕니다. 압축비가 0인 레이어는 슬라이딩 윈도우만 쓰므로 KV/토큰에서 뺍니다. 압축 캐시를 가진 레이어만 셉니다. DeepSeek-V4.1-Flash는 레이어 4개가 캐시를 가지고, 나머지 레이어는 그 캐시를 읽습니다.

sparse 인덱서는 키와 값과 별도로 슬롯 하나를 더 씁니다. 압축비가 있는 모델은 인덱서 슬롯도 압축비로 나눕니다. 압축비가 없는 모델은 인덱서 슬롯을 그대로 더합니다. Qwen3.8-Flash-Next는 인덱서 레이어 12개가 토큰마다 128개 요소를 더합니다. 인덱서는 토큰 4개를 한 블록으로 묶어 점수를 매기지만, 캐시에는 토큰마다 키 하나를 둡니다.

k-pool 압축이 있는 모델은 인덱서 슬롯 폭이 2 × index_head_dim + 1입니다.

슬라이딩 윈도우 레이어는 토큰이 늘어도 캐시가 커지지 않습니다. 하이브리드 모델은 전체 어텐션 레이어만 KV/토큰에 넣고, 슬라이딩 레이어는 KV/샘플에 넣습니다. 슬라이딩 레이어의 헤드 수와 차원은 config의 swa_num_key_value_heads, swa_head_dim, swa_v_head_dim에서 읽습니다.

KV/샘플은 선형 레이어 상태의 합과 윈도우 레이어 캐시의 합입니다. 윈도우 레이어 캐시는 윈도우 크기 × 레이어당 요소 수입니다. 윈도우 항에는 압축비를 적용하지 않습니다. 슬라이딩 윈도우도 선형 레이어도 없으면 KV/샘플은 0입니다.

선형 레이어는 토큰이 늘어도 캐시가 커지지 않습니다. 상태는 레이어마다 순환 상태와 컨볼루션 상태로 고정됩니다. 순환 상태는 선형 헤드 수 × 키 차원 × 값 차원입니다. 컨볼루션 상태는 컨볼루션 가중치의 출력 채널 수 합 × 커널 크기입니다.

커널 크기는 config의 linear_conv_kernel_dim 또는 linear_attn_config의 short_conv_kernel_size에서 읽습니다. 두 키가 없으면 컨볼루션 가중치의 마지막 차원을 씁니다. 이 표에서 선형 레이어를 가진 모델은 커널 크기가 모두 4입니다.

Sparse 열의 인덱서 N개는 인덱서 모듈을 가진 레이어 수입니다. 값은 전체 어텐션 레이어 수를 넘지 않습니다. KV/토큰은 그중 KV 슬롯을 가진 레이어만 셉니다. 두 수는 다를 수 있습니다. DeepSeek-V4.1-Flash는 인덱서가 붙은 레이어가 8개이고, KV 슬롯을 가진 레이어가 4개입니다.

계산에 쓴 입력값과 레이어 분류는 data/raw/*.json의 evidence.kv_cache에 남깁니다.