Local LLM 사용기 - 서브에이전트는 매우 옳다

프론티어 제품에서 로컬 진영으로

이제 퇴사가 거의 다가오고 있고, 내손에는 적지만 그래도 ollama cloud, codex (plus) 이렇게 2개가 남았다.

claude max x20으로 성능지표 최상위권 모델과 미친듯이 토큰을 녹여가며 개발을 이제 못하게된다는 뜻이므로 .. 족쇄에 익숙해질 차례가 되었다.

원래 하반기에는 뭔가 일어나겠지.. 그리고 가격 인상에 대비해서 사놓은 m5 맥북 메모리 풀뱅.. 이 매우 신의 한 수가되었다.

일단 로컬에서 두 모델을 서빙하여 쓸 수가 있는데 아래의 2개정도 뽑을 수 있다

뭐 muse glimmer, dwarf/ds4, gemma 이런 것들이 많긴한데 q2까지 간다던가, 코딩성능이 더구려진다던가 등 매우 제약점이 많으니.. 사실상 qwen이 단독선택지가 아닌가 싶긴하다

물론 ollama cloud면 그냥 뒤도안보고 ds4-0731, glm등이 있는데 이것들도 역시 제한은 있기때문에 .. 최대한 로컬llm의 속도에 익숙해지고 서빙실력도 높여야하는 것은있다

직면해버린 context 문제

원래는 1M 을 한계치까지 채워가면서 쓰던 나였는데 .. (요즘 모델성능도 좋고 cache context 로 그리 느리지는 않다) 이제는 그건불가능하다. max로 잡아봐야 262144, 조금 더 램을 아껴쓰면 524288 정도의 context만 쓸 수있기 때문에, 코딩방법을 조금 더 다이나믹하고 지시형으로 바꿀 필요가있다.

서브에이전트

힌트는 claude code에서 얻었다.
나는 요즘 토큰 사용량 아낀다고 .. workflow를 미친듯이 운용하고있는데
잘생각해보니 local llm 에서도 이런식으로 하면 토큰을 많이 아낄수있지 않을까 싶었다

실제로 claude code에서도 이틀짜리 작업을 하나의 세션에 compact하지않고도 1M 전체 컨텍스트의 60퍼센트밖에 안쓰는걸 실제 눈으로 검증했고

오늘에와서야 opencode 에 물려서 Jobs로 태스크들을 넘겨서 작업을 시작했다

그래서 어떻게 좋아졌는가 ?

현재 qwen 3.8 flash모델에서 매우 처음 context기준 MTP 까지 잘 터지면 토큰 tps가 거의 초당 50정도 나온다. 다만 매우 많은 컨텍스트 (약 256k 이상) 기준에서는 tps 가 거의 25-30까지 떨어지긴하지만, 애초에 workflow(jobs)로 넘긴이상 256까지 가지는 않는다.

고로 작업속도 자체는 30-40tps를 유지하고 장기적인 코드작업이 가능해진다

기존의 rule들도 잘 짜놨구나

AI를 꽤 써오면서, 내가 잘 쓰고있나? 라는 항상 의구심을 가졌는데
이렇게 claude -> opencode로 오면서도 환경이 살짝 달라졌지만 살짝달라진만큼만 불편해지고 나머지 작업이 그대로 된다는걸 보고 잘 써오고있었구나 생각하게 되었다

뭐 잘 못썼으면 그 자동화들이 어떻게 되었겠나 ㅋㅋ 속으로는 생각하지만

앞으로 더 써가면서 llm 서빙시의 설정값 (top_k, top_p, temp 등) 을 미세조정해가면서 코딩을 해가겠으니, 이러한 좋은점들이 있으면 하나씩 써내려가는것도 좋을듯하다