GB10 노드 4대. 가용 메모리가 넉넉하지 않아 모델 선택이 곧 설계다.
왜 로컬인가
계좌와 매매 기록이 프롬프트에 들어간다. 외부 API로 나가는 순간 통제가 끝난다.
선택
컨텍스트가 길고 툴콜이 되는 모델 하나를 주력으로. 나머지는 보조.
메모리 제약과 모델 선택, 그리고 왜 로컬인지.
GB10 노드 4대. 가용 메모리가 넉넉하지 않아 모델 선택이 곧 설계다.
계좌와 매매 기록이 프롬프트에 들어간다. 외부 API로 나가는 순간 통제가 끝난다.
컨텍스트가 길고 툴콜이 되는 모델 하나를 주력으로. 나머지는 보조.