트랜스포머(Transformer)의 셀프 어텐션(Self-Attention) 메커니즘은 본질적으로 순서에 무관한 치환 불변(Permutation-invariant) 구조입니다. 입력 문장의 단어 순서가 바뀌어도 어텐션 연산 자체는 동일한 가중치 집합을 산출하므로, 모델이 문맥과 어순을 이해하려면 토큰의 위치 정보를 명시적으로 주입해야 합니다.

AI 연구자 Sebastian Raschka가 2026년 11월 15일 공개한 기술 해설은 초기 트랜스포머의 정적 방식부터 최근 오픈 프런티어 모델들이 채택한 RoPE, 그리고 위치 인코딩을 아예 생략하는 NoPE까지의 발전 경로를 체계적으로 정리했습니다. 핵심 메커니즘과 아키텍처별 트레이드오프를 살펴봅니다.

1. 고전적 접근: 절대 위치 임베딩(Absolute Positional Embeddings)

초기 언어 모델들은 토큰이 시퀀스의 몇 번째 위치에 있는지를 나타내는 고정된 벡터를 첫 번째 레이어의 입력 임베딩에 단순히 더하는(Add) 방식을 취했습니다.

  • 정현파 위치 인코딩(Sinusoidal Encodings): 원본 2017년 논문(Attention is All You Need)에서 제안된 방식으로, 서로 다른 주기를 가진 사인 및 코사인 함수 값을 계산해 더합니다.
  • 학습형 절대 위치 임베딩(Learned Absolute Embeddings): GPT-2 및 GPT-3에서 사용된 방식으로, 각 위치(0, 1, ..., $L-1$)마다 학습 가능한 파라미터 벡터를 유지합니다.

한계점: 길이 외삽(Length Extrapolation)의 실패

학습형 절대 위치 방식은 사전 학습 당시 설정한 최대 시퀀스 길이(예: 2,048 또는 4,096 토큰)를 넘어서는 새로운 위치 인덱스에 대해 학습된 임베딩 벡터가 존재하지 않습니다. 결과적으로 100k 이상의 긴 컨텍스트(Long Context) 확장이 불가능한 구조적 한계를 안고 있었습니다.

2. 현대 표준: 회전 위치 임베딩(RoPE, Rotary Position Embedding)

Llama 3, Gemma, Mistral, OLMo 등 현대 주요 오픈 가중치 LLM이 표준으로 채택한 방식이 RoPE입니다.

입력 레이어에서 정적 벡터를 더하는 대신, 셀프 어텐션 내부에서 Query($Q$)와 Key($K$) 벡터에 위치 $m$에 비례하는 2차원 회전 행렬(Rotation Matrix)을 직접 곱합니다:

$$R_{\Theta, m}^d = \text{diag}\left(R_{\theta_1, m}, R_{\theta_2, m}, \dots, R_{\theta_{d/2}, m}\right)$$

왜 RoPE가 긴 컨텍스트에 강력한가

회전된 Query $R_m Q$와 회전된 Key $R_n K$의 내적(Inner Product)을 계산하면, 삼각함수의 덧셈정리에 의해 두 토큰 사이의 절대 위치가 소거되고 <strong>상대적 거리 $(m - n)$</strong>만이 어텐션 점수에 남게 됩니다:

$$\langle R_m q, R_n k \rangle = g(q, k, m - n)$$

이 특성 덕분에 모델은 토큰 간의 상대적인 위치 관계를 자연스럽게 학습하며, YaRN이나 LongRoPE 같은 주파수 스케일링 기법을 적용해 128k 이상의 컨텍스트로 손쉽게 외삽할 수 있습니다.

변형: 부분 RoPE(Partial RoPE)

MiniMax-M3 등 일부 모델은 어텐션 헤드의 전체 차원 중 일부 차원(예: 25%~50%)에만 회전을 적용하고 나머지 차원은 회전 없이 유지하여 연산 비용과 메모리를 절감하는 절충안을 채택하기도 합니다.

3. 새로운 흐름: NoPE (No Positional Embeddings)

최근 연구(The Impact of Positional Encoding on Length Generalization in Transformers, 2023 등)에서 주목받는 대안은 위치 인코딩을 완전히 제거하는 NoPE입니다.

명시적인 위치 좌표를 전혀 주입하지 않음에도 디코더 전용(Decoder-only) 모델이 순서를 인식할 수 있는 이유는 인과적 마스크(Causal Attention Mask) 때문입니다. 미래의 토큰을 보지 못하게 가리는 하삼각 마스크 구조 자체가 각 토큰이 볼 수 있는 이전 컨텍스트의 길이를 차등화하므로, 모델이 암묵적으로 위치 신호를 추출할 수 있습니다. NoPE는 특정 인코딩 주파수에 과적합되지 않아 특정 벤치마크에서 길이 외삽 성능이 우수한 결과를 보이기도 합니다.

위치 인코딩 방식 비교

인코딩 방식 위치 정보 주입 지점 장점 주요 단점 / 한계 대표 모델
학습형 절대 임베딩 첫 번째 입력 레이어 (Add) 구현과 학습이 단순함 사전 학습 길이를 넘는 외삽 불가 GPT-2, GPT-3
정현파 절대 인코딩 첫 번째 입력 레이어 (Add) 파라미터 추가 없음 상대적 거리 표현에 한계 Transformer (2017)
RoPE (회전 위치 임베딩) Attention Q, K 연산 직전 (Rotate) 상대 거리 자연 반영, 긴 컨텍스트 확장 용이 주파수 하이퍼파라미터 튜닝 필요 Llama 3, Gemma, Mistral
NoPE (위치 인코딩 생략) 명시적 주입 없음 (Causal Mask 의존) 아키텍처 단순화, 주파수 편향 없음 절대적 위치 정밀도가 필요한 작업에서 검증 필요 연구용 디코더 LLM

PyTorch 핵심 개념 구조

RoPE를 텐서 연산으로 구현할 때의 핵심은 짝수/홀수 인덱스 차원을 묶어 2D 평면 회전을 수행하는 것입니다:

import torch

def apply_rotary_emb(x: torch.Tensor, freqs_cis: torch.Tensor) -> torch.Tensor:
    # x shape: [batch, seq_len, n_heads, head_dim]
    # 복소수 평면 회전으로 2D 회전 행렬 곱을 효율화
    x_complex = torch.view_as_complex(x.float().reshape(*x.shape[:-1], -1, 2))
    freqs_cis = freqs_cis.unsqueeze(0).unsqueeze(2)  # broadcast shape
    x_rotated = torch.view_as_real(x_complex * freqs_cis).flatten(-2)
    return x_rotated.type_as(x)

긴 컨텍스트 모델을 직접 파인튜닝하거나 에이전트 하네스를 구축하는 엔지니어라면, 사용하는 기반 모델이 RoPE 주파수(base frequency $\theta$)를 어떻게 설정했는지(예: Llama 3의 $\theta=500,000$), 그리고 RoPE 스케일링이 런타임에서 제대로 처리되는지 점검하는 것이 필수적입니다.

출처: Sebastian Raschka — Ahead of AI (2026-11-15).