# Positional encoding

> 트랜스포머의 구성 요소 중 하나. RNN 같은 방식을 쓰지 않으면서도 토큰 순서에 대한 정보를 반영하기 위해 고안된 방법.

[트랜스포머](https://wiki.g15e.com/pages/Transformer%20architecture.txt)의 구성 요소 중 하나. [RNN](https://wiki.g15e.com/pages/Recurrent%20neural%20network.txt) 같은 방식을 쓰지 않으면서도 토큰 순서에 대한 정보를 반영하기 위해 고안된 방법.

## Articles

- 2024-11-25 - [You could have designed state of the art positional encoding](https://huggingface.co/blog/designing-positional-encoding)

## Implementations

- <Absolute positional encoding>: 원래의 논문([Attention is all you need](https://wiki.g15e.com/pages/Attention%20is%20all%20you%20need.txt))에서 제안한 방식
- <Rotary position embedding>