로컬 12B 모델에 28,021토큰짜리 입력을 넣었다. 답은 정확했다. 첫 글자가 나오기까지 2,528초가 걸렸다.
숫자만 보면 실험은 성공이다. 서버는 죽지 않았고, 32K 컨텍스트를 유지했으며, 긴 입력을 끝까지 처리했다. 입력 처리 속도는 초당 11.08토큰, 생성 속도는 초당 2.55토큰이었다. 요청 전체에는 2,535초가 들었다.
하지만 이 결과로 확인한 건 “처리할 수 있다”까지다. “대화하며 쓸 수 있다”는 전혀 다른 질문이다. 설정 화면에 32K가 찍히는 것, 긴 요청이 완주하는 것, 사용자가 기다릴 만한 시간 안에 첫 답이 나오는 것은 같은 성능 지표가 아니다.
그래서 긴 입력은 별도 운용 등급이 됐다. 한 번에 하나만 받고, 평소 요청은 짧게 유지하며, 정말 긴 문서가 필요할 때만 40분 넘는 대기 시간을 감수한다. 최대 컨텍스트는 기능 하나를 켜는 설정값이 아니라 메모리, 발열, 동시성, 대기 시간을 함께 사는 계약이었다.
기능표에는 여전히 “32K 지원” 한 줄이면 충분하다. 운영자는 그 한 줄 옆에 첫 응답 42분, 단일 작업, 최고 91도를 적어야 한다. 42분은 대화 지연이 아니다. 예약 작업의 소요 시간이다.