Journal 2026-05

2026년 5월 일지

월간 회고

ToDo

Journal

2026-05-28

OpenAI Codex의 /goal 기능으로 버그 잡고 테스트를 보강하는 루프를 돌렸더니 38시간 동안 계속 돌길래, 토큰이 간당간당해서 강제로 멈추게 했다. 재미난 세상이다.

---

Omnispeak을 좀 더 발전시켰다.

• 화자 구분을 하도록 해서 내가 하는 말만 입력되도록 했다.
• 혼자 컴퓨터 화면을 보면서 중얼거리는 느낌이 영 이상해서, 음성 인식 중에 화면에 큰 강아지 이모지가 나오게 했다. 강아지 눈을 보며 말하면 좀 덜 어색하다. (이것이 바로 CASA 패러다임인가!?)

2026-05-27

Omnispeak이라는 작은 유틸리티를 만들어봤다. 모든 텍스트 입력창에서 STT가 작동하게 만드는 Hammerspoon 스크립트. 참고: gist.github.com/akngs/1b1e1452a0526d66ceaa1c586546cc54

2026-05-16

계속 ds4 가지고 노는 중. Directional steering 이라는 개념을 알게 됐다. 찾아보니 2024년에 나온 이런 연구가 있었다: Refusal in Language Models Is Mediated by a Single Direction.

LoRA 등 PEFT와 달리 inference time에 작은 개입만으로 모델의 출력을 조향(steering)하는 기법이다. 트랜스포머 각 레이어의 FFN 출력에 미리 만들어둔 방향 벡터(unit vector)와 평행한 성분을 상수배로 scale 하고 차감해서 residual stream을 왜곡한다. 그 결과 특정 성분이 약화(scale > 0), 제거(scale = 0), 강화(scale < 0)된다.

이 방향 벡터는 100개 정도의 예문 쌍을 통해 사전에 구하는데 M5 Max 128GB 기준으로 약 180초면 되고, DeepSeek 4 Flash 기준으로 약 0.7MB의 파일이 하나 생기는 게 전부다(43 layers * 4096 dims * 4 bytes = 704512). Inference time에 간단한 연산만 추가되는 거라서 속도엔 거의 아무런 영향을 주지 않는다.

PEFT와 달리 모델이 모르던 지식을 새로 주입할 수는 없지만, 특정 방향으로 응답을 유도(예: 응답의 길이, 특정 주제로의 편향, 특정 주제에 대해 답변을 거부하는 현상을 강화하거나 약화)하는 건 잘 되는 것 같다.

2026-05-18

M5 Max 128GB 장비를 샀다. 일단 DwarfStar 4를 1M context window로 돌여보는데 쌩쌩 잘 돌아가서 신난다.

2026-05-01

노동절이면서 연휴의 시작.