이미지 AI 응답을 앞당기는 보조 모델, LFM2.5-VL-DSpark
Liquid AI의 비전 모델용 추측 디코딩을 실제 사용 조건과 함께 살핀다. 속도 수치의 적용 범위, 맥에서의 시험 절차와 통합 버전의 불확실성을 구분했다.
Liquid AI가 2026년 9월 24일 공개한 실험용 LFM2.5-VL-3B-DSpark는 사진을 읽고 답하는 비전·언어 모델 LFM2.5-VL-3B 옆에 붙이는 추측 디코딩용 보조 모델이다. 답을 먼저 몇 토큰 제안하고 원래 모델이 검증하게 해, 이미지를 이해하는 능력을 새 모델로 교체하지 않고 응답 생성 구간을 단축한다. 발표 자료의 최고 수치만 보고 모든 이미지 질의가 세 배 빨라진다고 해석해서는 안 된다.
바뀐 계산 경로
일반 생성에서는 목표 모델이 토큰을 차례로 확정한다. DSpark는 목표 모델의 중간 상태를 받아 작은 초안 모델이 여러 후보 토큰을 먼저 제안하게 한다. 목표 모델은 후보를 검증하고 받아들일 수 있는 부분만 사용한다. 공식 모델 카드에 따르면 이 초안 모델은 약 2억 7950만 매개변수이며 3B 목표 모델 대비 약 8.9%를 추가한다. 이미지 패치와 텍스트가 공통 표현으로 들어온 뒤의 상태를 활용하므로, 시각 입력이 있는 질문에도 적용한다. 초안은 LFM2.5-VL-3B와 짝을 맞춰야 하며 이름이 비슷한 1.6B 모델용으로 임의 교체하면 안 된다.
공식 자료에서 단일 H100·SGLang의 COCO 이미지 설명 작업은 디코딩 2.66배, 전체 처리 2.27배였다. Apple M5 Max·MLX-VLM의 COCO는 각각 3.13배, 2.59배다. 이 수치는 해당 장비에서 배치 크기 1, 온도 0, 정해진 테스트와 정밀도로 측정한 목표 모델 단독 실행 대비 값이지, 임의의 GPU나 업무 데이터에 대한 보장치가 아니다. 목표 모델이 각 제안을 검증하므로 공식 설명상 탐욕적 생성에서는 목표 모델 단독 실행과 같은 결과를 얻지만, 이미지 자체의 인식 오류나 환각을 고치는 기술은 아니다.
설치와 사용
다음 절차는 2026년 9월 28일 확인한 모델 카드의 MLX-VLM 안내를 바탕으로 정리했으며 직접 실행하지 않았다. Apple Silicon Mac과 Python 환경, 모델 가중치를 내려받을 여유 저장 공간, 인터넷 연결, 본인이 처리 권한을 가진 이미지가 전제다. 이미지 파일은 사진 속 개인정보를 제거한 샘플로 준비한다. 모델 카드는 MLX-VLM 0.7.2 이상을 명시하지만, 별도로 연결한 비전 DSpark 지원 PR #2280은 확인 시점 웹 화면에 Open으로 표시됐다. 따라서 단순 버전 번호만 믿지 말고 설치된 릴리스에서 --draft-model 옵션과 해당 모델의 동작을 먼저 검증해야 한다. 작업용 환경을 별도로 만들고 기존 프로젝트의 패키지를 덮어쓰지 않는다.
python3 -m venv .venv-dspark
source .venv-dspark/bin/activate
python -m pip install --upgrade pip
python -m pip install 'mlx-vlm>=0.7.2'
python -m mlx_vlm.generate --help위의 --help 출력에서 초안 모델 및 블록 크기 옵션이 보이는지 확인한다. 보이지 않거나 미지원 모델 오류가 나면 이후 명령을 강행하지 말고 통합 PR·릴리스와 설치 버전을 다시 확인한다. 아래에서 /path/to/image.jpg를 실제 로컬 이미지 경로로 바꾼다. 우선 목표 모델만 실행해 이미지에 관한 대답과 소요 시간을 기록한 다음, 같은 이미지·질문·토큰 상한으로 초안 모델을 붙여 비교한다. 첫 실행의 다운로드·초기 로딩 시간은 추론 비교에서 빼야 한다.
python -m mlx_vlm.generate \
--model LiquidAI/LFM2.5-VL-3B \
--image /path/to/image.jpg \
--prompt "Describe this image." \
--max-tokens 256 --temperature 0
python -m mlx_vlm.generate \
--model LiquidAI/LFM2.5-VL-3B \
--draft-model LiquidAI/LFM2.5-VL-3B-DSpark \
--draft-block-size 8 \
--image /path/to/image.jpg \
--prompt "Describe this image." \
--max-tokens 256 --temperature 0질문과 답이 출력되면 최소 동작을 확인할 수 있다. 초안 적용 여부는 시작 로그나 처리 시간·수용 토큰 관련 진단을 함께 살펴야 한다. 답변의 문장만으로 초안이 켜졌다고 단정하지 않는다. 모델 카드에 따르면 Apple 환경은 블록 크기 8을 사용하고, 현재 MLX-VLM의 DSpark 경로는 탐욕적 샘플링이므로 온도 0으로 지정한다. 반복 측정에서는 같은 입력, 같은 길이의 생성 결과, 같은 장비와 런타임을 맞춰 전체 시간과 디코딩 시간을 별도로 비교한다. 짧은 답이나 이미지 전처리 비중이 높은 업무에서는 이득이 작을 수 있다.
한계와 복구
모델은 Hugging Face에서 다운로드하며 로컬 실행은 별도 API 호출 요금과 다르지만, 저장 공간·통합 메모리·전력 비용을 부담한다. 외부 저장소의 모델 파일과 패키지의 라이선스·신뢰성을 각각 확인하고 민감한 사진은 공개 데모나 원격 API에 올리지 않는다. 기업 데이터라면 입력 저장·로그 정책을 별도로 점검한다. 비전 인코더와 프리필 단계는 이 방식으로 빨라지지 않으므로 첫 토큰까지 기다리는 시간이 큰 업무에 같은 배율을 적용할 수 없다.
초안 모델 관련 인자 미인식은 설치 버전과 지원 PR 병합 여부를 확인하고, 모델 짝 오류는 목표·초안 이름을 공식 카드대로 다시 맞춘다. 메모리 부족이나 지나치게 긴 대기 시간에는 작은 테스트 이미지·짧은 토큰 상한으로 원인을 분리하고 목표 모델 단독 실행으로 돌아간다. 시험을 끝내면 가상환경을 비활성화하고 자신이 만든 .venv-dspark 디렉터리를 삭제하면 패키지 변경을 되돌릴 수 있다. 다운로드된 Hugging Face 캐시는 다른 프로젝트가 공유할 수 있으므로 무턱대고 전체 삭제하지 말고 해당 모델 파일과 참조 여부를 먼저 확인한다.
