• LFM3로 특화 멀티모달 모델 구축하기
  • 더 표현력 있는 백본을 구축한 방법
  • 6개 모델을 위한 하나의 백본
  • LFM3 모델 사용 방법
    • LFM3-1.7B
    • LFM3-VL-2B
    • LFM3-Audio-2B
    • LFM3-Omni-2B
    • d1-2B 및 d1-omni-2B
  • 작업에 맞게 LFM3 fine-tuning하기
    • 예시: LFM3에 행동하도록 가르치기
  • LFM3 시작하기
  • 인용

이 글은 Hugging Face 블로그의 Build specialized multimodal models with LFM3를 한국어로 번역한 글입니다.

LFM3로 특화 멀티모달 모델 구축하기

LFM3는 Liquid Foundation Models(LFM)의 새로운 세대로, 특화된 지능을 구축하기 위한 출발점으로 설계되었습니다. 텍스트, 비전, 오디오, 옴니, 의사결정 모델을 모두 2B 파라미터 규모의 하나의 공유 백본으로 통합합니다. 따라서 입력 모달리티에 맞는 모델을 선택하고, 단일 GPU에서 자체 데이터로 fine-tuning한 다음, 애플리케이션이 실행되는 환경에 배포할 수 있습니다.

LFM3는 이전 LFM2 제품군과 비교해 네 가지 주요 변경 사항을 제공합니다.

• 파라미터당 더 높은 성능: 새로운 tri-hybrid 아키텍처와 학습 레시피를 통해 LFM3-1.7B는 파라미터를 35% 적게 사용하면서도 LFM2.5-2.6B를 능가합니다.

• 하나의 백본에 모든 모달리티 제공: LFM3-1.7B-Base에서 학습된 2B급 모델 6개(텍스트, 비전, 오디오, 옴니, 의사결정)를 제공하며, 여기에는 첫 번째 옴니 모델과 비전 모델의 비디오 입력이 포함됩니다.

• 엣지를 위한 설계: 텍스트 모델은 4비트 정밀도에서 약 1GB에 들어가고, 새롭게 자체 개발한 비전 및 오디오 인코더가 처리를 가속하며, 텍스트 모델의 256K 컨텍스트 윈도우를 통해 에이전트를 온디바이스에서 실행할 수 있습니다.

• 특화를 위한 설계: 모든 모델을 단일 GPU에서 fine-tuning할 수 있으므로 자체 데이터, 용어, 배포 환경에 맞게 조정할 수 있습니다.

더 표현력 있는 백본을 구축한 방법

LFM2는 짧은 컨볼루션과 어텐션의 하이브리드가 품질을 희생하지 않으면서 온디바이스에서 빠르게 실행될 수 있음을 보여주었습니다. LFM3에서는 더 높은 파라미터당 성능과 긴 컨텍스트에서의 빠른 추론이 필요한 에이전트 사용 사례를 위해, hardware-in-the-loop 아키텍처 탐색을 사용해 이 아키텍처를 재설계했습니다. 이제 탐색 대상에는 휴대폰과 Raspberry Pi 5부터 노트북, 클라우드 CPU, GPU, Qualcomm Hexagon NPU까지 14개의 디바이스 및 백엔드 조합이 포함됩니다.

LFM3-1.7B-Base는 24개 레이어로 구성되며, 네 가지 주요 변경 사항을 적용했습니다.

• Tri-hybrid 레이어 구성: 13개의 gated short convolution, 256토큰 윈도우를 사용하는 5개의 sliding-window attention(SWA) 레이어, 6개의 global attention 레이어로 구성됩니다. 컨볼루션의 커널 크기는 LFM2의 3에서 7로 늘어났습니다.

• Head-wise gated attention: sigmoid 게이트가 각 헤드의 출력을 조정하므로, 추가할 정보가 없을 때 헤드를 끌 수 있습니다. 이는 양자화에 악영향을 주는 activation outlier를 억제하는 데 도움이 될 수 있습니다.

• Partial RoPE: global attention 레이어는 각 헤드의 가장 높은 주파수 절반만 회전시키므로, 나머지 절반은 거리에 관계없이 콘텐츠상 일치합니다. SWA 레이어는 전체 RoPE를 유지합니다.

• Sandwich norm: 각 블록이 입력과 출력을 모두 정규화하여 activation의 스케일을 안정적으로 유지합니다.

이러한 개선 효과는 긴 컨텍스트에서 나타납니다. 파라미터 수를 기준으로 보면 LFM3-1.7B는 엣지 디바이스 전반의 짧은 프롬프트에서 LFM2-1.2B와 동등한 성능을 보이며, 컨텍스트가 8K 토큰일 때는 약 25% 더 빠릅니다. LFM3-1.7B-Base는 LFM2.5-8B-A1B와 동일한 128K 어휘를 사용해 22T 토큰으로 사전 학습되었습니다. 마지막 3.5T 토큰은 엄선된 데이터에 대해 수행한 mid-training 단계에 사용되었으며, 에이전트 추적과 tool call의 비중을 높여 컨텍스트 윈도우도 256K 토큰으로 확장했습니다.

6개 모델을 위한 하나의 백본

모든 LFM3 모델은 LFM3-1.7B-Base에서 파생됩니다. 하나의 대규모 범용 모델을 실행하는 대신, 입력에 맞는 모델을 선택하고, 이를 커스터마이즈한 다음 온디바이스에서 실행할 수 있습니다.

비전 및 오디오 모델에는 새롭게 자체 개발한 인코더도 추가됩니다.

• 비전 인코더: 컨볼루션과 어텐션을 결합하며, 이전 LFM VL 모델의 SigLIP2 인코더보다 연산량이 3배 적습니다. 164M 파라미터 인코더는 정확도 측면에서 Qwen3.5-2B의 비전 인코더와 동등하면서도 FLOPs는 2.2배 적게 필요합니다(두 수치 모두 동일한 LFM2.5-230M 언어 백본으로 측정). 비디오의 경우 샘플링된 프레임 두 개를 하나의 temporal slice로 임베딩하여 temporal sequence 길이를 절반으로 줄입니다.

• 오디오 인코더 및 LiquidCodec: 오디오 인코더는 sliding-window attention과 short convolution을 혼합하며 완전한 causal 구조를 사용합니다. 따라서 사용자가 말하는 동안 모델이 prefill을 수행할 수 있고, 첫 토큰까지의 시간은 최저 50ms입니다. 새로운 오디오 tokenizer인 LiquidCodec은 생성된 토큰을 Apple M4 Max의 단일 CPU 스레드에서 실시간보다 약 87배 빠른 속도로 음성으로 변환하며 streaming decoding을 지원합니다.

LFM3 모델 사용 방법

각 모델은 transformers에서 실행됩니다. 아래 스니펫은 모델 카드에서 가져온 것이며, 모델 카드에는 각 모델이 지원하는 다른 추론 엔진도 나와 있습니다.

LFM3-1.7B

로컬 에이전트, tool calling, 구조화된 출력 또는 도메인별 fine-tuning을 위한 기반 모델이 필요하다면 LFM3-1.7B를 선택하세요. Hermes Agent, Pi, OpenClaw와 같은 에이전트 하니스에서 실행되도록 post-training되었습니다. 이전 모델인 LFM2.5-2.6B보다 파라미터가 35% 적으면서도 더 높은 성능을 내며, 가장 큰 성능 향상은 에이전트 작업에서 나타납니다. WebArena-Verified에서 3.02에 비해 38.42점을 기록하고, 브라우저와 비즈니스 애플리케이션의 긴 작업에서는 Qwen3.5-9B도 능가합니다. 자세한 내용은 LFM3-1.7B model card에서 확인할 수 있습니다.

LFM3-1.7B를 실행하려면 최신 버전의 transformers을 설치하세요.

pip install -U transformers

그런 다음 모델을 로드하고 실행합니다.

from transformers import pipeline

generator = pipeline(
    "text-generation",
    model="LiquidAI/LFM3-1.7B",
    trust_remote_code=True,
)

messages = [{"role": "user", "content": "What is C. elegans?"}]
output = generator(
    messages,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.1,
    max_new_tokens=2048,
)
print(output[0]["generated_text"][-1]["content"])

로컬 에이전트 설정은 Agent Harnesses guide을 참조하세요.

LFM3-VL-2B

온디바이스 시각적 이해가 필요하다면 LFM3-VL-2B를 선택하세요. 비디오를 입력으로 받는 최초의 LFM 비전 모델이며, 답변하기 전에 단계적으로 추론하고 객체를 찾은 뒤 객체가 어떻게 배치되어 있는지 추론하므로 로보틱스를 위한 강력한 기반이 됩니다. LFM2.5-VL-3B와 비교하면 파라미터 수는 더 적지만(1.9B 대 3.1B), 62개 비전 벤치마크의 평균 점수를 57.6에서 71.4로 높였으며, 이는 6배 이상 큰 모델인 Gemma 4 12B와 비슷한 수준입니다. 자세한 내용은 LFM3-VL-2B model card에서 확인할 수 있습니다.

LFM3-VL-2B를 실행하려면 vision dependencies와 함께 transformers>=5.21.0을 설치하세요.

pip install "transformers>=5.21.0" torch torchvision pillow

그런 다음 모델을 로드하고 실행합니다.

import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "LiquidAI/LFM3-VL-2B"

model = AutoModelForImageTextToText.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://placecats.com/300/200"},
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

with torch.inference_mode():
    output_ids = model.generate(
        **inputs,
        do_sample=True,
        temperature=0.1,
        top_k=50,
        repetition_penalty=1.1,
        max_new_tokens=16384,  # generate() needs an explicit limit; reasoning can be long
    )

generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
print(processor.batch_decode(generated_ids, skip_special_tokens=True)[0])

tool calling, tool search, llama.cpp를 사용한 온디바이스 추론은 LFM3-VL-2B model card을 참조하세요.

LFM3-Audio-2B

노트북이나 엣지 디바이스에서 18개 언어 간 음성 대화, 음성 인식, 음성 합성 또는 번역이 필요하다면 LFM3-Audio-2B를 선택하세요. 텍스트 또는 오디오를 입력으로 받아 텍스트, 음성 또는 두 가지 모두로 응답하며, 음성 요청을 tool call로 변환할 수 있습니다. LFM2.5-Audio-1.5B와 비교해 새로운 자체 개발 오디오 인코더와 음성 코덱을 사용하고, 더 높은 품질로 음성을 출력하며(UTMOSv2 3.83 대 3.22), 오디오 이해, 범용 오디오 추론 및 tool calling을 추가했습니다. 자세한 내용은 LFM3-Audio-2B model card에서 확인할 수 있습니다.

LFM3-Audio-2B를 실행하려면 audio dependencies와 함께 transformers>=5.20.2을 설치하세요.

pip install "transformers>=5.20.2" torch accelerate librosa soundfile

Hugging Face Hub에서 직접 모델과 프로세서를 로드합니다.

import torch
import soundfile as sf

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "LiquidAI/LFM3-Audio-2B"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

model = AutoModelForMultimodalLM.from_pretrained(
    model_id, dtype=dtype, device_map=device, trust_remote_code=True
).eval()
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
codec = processor.audio_tokenizer.to(device=device).eval()

그런 다음 음성으로 질문하고 텍스트와 음성으로 답변을 받습니다.

conversation = [
    {"role": "system", "content": "Respond with interleaved text and audio."},
    {"role": "user", "content": [{"type": "audio", "audio": "question.wav"}]},
    {"role": "assistant", "content": "<|mixed_start|>"},
]
inputs = processor.apply_chat_template(
    conversation,
    continue_final_message=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(device)
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=1024,
        audio_temperature=1.0,
        audio_top_k=128,
        audio_repetition_penalty=1.1,
        audio_repetition_window=4096,
        return_dict_in_generate=True,
    )

    text = processor.decode(
        outputs.sequences[0, inputs["input_ids"].shape[1]:],
        skip_special_tokens=True,
    )
    waveform = codec.decode(
        outputs.audio_codes[:1, :, :outputs.audio_lengths[0]]
    ).audio_values[0]  # 24 kHz
print(text)
sf.write("reply.wav", waveform.float().cpu().numpy(), 24_000)

실시간 음성 인식, 음성 합성, 오디오 이해 및 tool calling은 LFM3-Audio-2B model card을 참조하세요.

LFM3-Omni-2B

별도의 ASR 모델, vision-language 모델, LLM, TTS 모델 대신 보고 듣고 응답하는 하나의 온디바이스 모델이 필요하다면 LFM3-Omni-2B를 선택하세요. 이미지에 관한 음성 질문에 답하고, 비디오를 보면서 동시에 들으며, 보고 들은 내용을 tool call로 변환할 수 있습니다. 텍스트, 비전, 오디오 입력과 텍스트 및 음성 출력을 제공하는 최초의 옴니 모델이며, 시각적 질의응답, 음성 인식, 음성 합성, instruction following을 포함한 독립형 LFM3 모델의 핵심 기능을 유지합니다. LFM3-Audio-2B와 마찬가지로 LiquidCodec을 통해 음성을 출력합니다. LiquidCodec은 생성된 토큰을 실시간보다 빠르게 음성으로 변환하므로, 모델이 생성하는 동안 음성 응답을 스트리밍할 수 있습니다. 오디오-비주얼 비디오 이해에서 Qwen2.5-Omni-7B와 같은 최대 10.7B 파라미터 규모의 모델을 Daily-Omni, WorldSense, AV-SpeakerBench에서 능가합니다. 자세한 내용은 LFM3-Omni-2B model card에서 확인할 수 있습니다.

LFM3-Omni-2B를 실행하려면 vision 및 audio dependencies와 함께 transformers>=5.20.2을 설치하세요.

pip install "transformers>=5.20.2" torch torchvision torchcodec accelerate pillow librosa soundfile

import torch
import soundfile as sf

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "LiquidAI/LFM3-Omni-2B"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

model = AutoModelForMultimodalLM.from_pretrained(
    model_id, dtype=dtype, device_map=device, trust_remote_code=True
).eval()
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
codec = processor.audio_tokenizer.to(device=device).eval()

그런 다음 음성으로 사진에 대해 질문합니다.

conversation = [
    {
        "role": "system",
        "content": "Answer questions about the provided image. Base every answer only on what can be seen. Respond with text.",
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "photo.jpg"},
            {"type": "audio", "audio": "question.wav"},
        ],
    },
]
inputs = processor.apply_chat_template(
    conversation,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(device)

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=1024, generation_mode="text")

print(processor.decode(
    outputs.sequences[0, inputs["input_ids"].shape[1]:outputs.sequence_lengths[0]],
    skip_special_tokens=True,
))

음성 출력, 사운드트랙이 포함된 비디오 및 tool calling은 LFM3-Omni-2B model card을 참조하세요.

d1-2B 및 d1-omni-2B

생성된 텍스트 대신 빠르고 구조화된 의사결정이 필요하다면 d1 모델을 선택하세요. 상황(지원 티켓, 인보이스, 앱 화면, 사진, 음성 메모)과 질문 목록을 입력하면 단일 forward pass에서 모든 질문에 답하며, 각 답변에 대해 보정된 확률을 제공합니다. 이제 예/아니요, 선택지, 점수뿐 아니라 객체를 가리키고, 문서에서 값을 읽고, 범위와 함께 수치를 추정하며, 해당하는 모든 옵션을 선택할 수 있습니다. 자세한 내용은 d1-2B 및 d1-omni-2B의 모델 카드에서 확인할 수 있습니다.

두 d1 모델의 차이는 다음과 같습니다.

• d1-2B: 텍스트, 사진, 비디오에 사용하세요. d1-3B을 파라미터를 3분의 1 적게 사용하면서 대체하며, 네 가지 의사결정 평가 모음 모두에서 더 높은 점수를 기록합니다. 예를 들어 ImajevBench에서 64.0에 비해 75.5점을 기록합니다.

• d1-omni-2B: 입력에 오디오가 포함되는 경우 선택하세요. 글로 입력하는 대신 음성으로 질문해도 정확도의 거의 대부분을 유지합니다.

d1-2B를 실행하려면 vision dependencies와 함께 transformers>=5.19을 설치하세요.

pip install "transformers>=5.19" torch torchvision pillow

그런 다음 d1-2B를 로드하고, 하나의 지원 티켓에 대해 여러 질문을 단일 pass로 수행합니다.

import torch
from transformers import AutoModel

device = "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu"
dtype = torch.float32 if device == "cpu" else torch.bfloat16
model = AutoModel.from_pretrained("LiquidAI/d1-2B", trust_remote_code=True, dtype=dtype).to(device)

# Several named questions over one state, answered in one pass
questions = {
    "refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},  # yes/no: P(yes)
    "team": {"type": "choice", "instructions": "Which team should handle this?",
             "criteria": {"billing": "Charges, refunds, invoices", "shipping": "Delivery and parcels",
                          "technical": "App or site faults"}},
    "topics": {"type": "choice", "multiple": True, "instructions": "Which topics does the message raise?",
               "criteria": {"billing": "Payments and charges", "delivery": "Shipping and parcels",
                            "login": "Signing in to the account"}},
    "urgency": {"type": "score", "instructions": "How urgent is this ticket?", "criteria": ["low", "medium", "high"]},
}
out = model.system_one("I was charged twice and my parcel never arrived. Please refund one charge.", questions)
a = out["answers"]
urgency = a["urgency"]["legend"][str(int(a["urgency"]["score"]))]
print(round(a["refund"]["noul"], 2), a["team"]["choice"], a["topics"]["choices"], urgency)
# 1.0 billing ['billing', 'delivery'] medium

간결성을 위해 여기서는 d1-2B 예제만 포함합니다. 오디오 클립과 음성 질문은 d1-omni-2B model card을 참조하세요.

작업에 맞게 LFM3 fine-tuning하기

LFM3는 특화를 위해 설계되었습니다. 최첨단 모델은 강력한 범용 모델이지만, 반드시 여러분의 사용 사례에 특화된 전문가는 아닙니다. LFM3는 작고 빠른 모델에 추가 용량을 담았으므로, 짧은 fine-tuning만으로도 자체 데이터, 용어, 도구를 사용하는 작업의 신뢰할 수 있는 전문가로 만들 수 있습니다. 모델이 작기 때문에 디바이스부터 프라이빗 인프라, 클라우드에 이르기까지 애플리케이션이 실행되는 환경에 fine-tuning된 모델을 배포할 수 있습니다.

모든 모델은 단일 GPU에서 fine-tuning할 수 있으며, 이 노트북들은 텍스트, 비전, 오디오, 옴니 모델을 대상으로 데이터 준비부터 평가까지 전체 작업 과정을 안내합니다.

예시: LFM3에 행동하도록 가르치기

LFM3-VL-2B를 오케스트레이션, 내비게이션, 조작을 위한 상호 보완적인 로보틱스 모델 세 가지로 조정합니다. 오케스트레이터는 tool call을 통해 로봇 팔을 작동합니다. 객체를 가리켜 위치를 지정하고, depth 도구로 측정하며, motion planner를 호출하고, 이후 카메라 이미지에서 결과를 확인합니다. 내비게이터는 최근 RGB 관측을 사용해 경로 설명을 따라가며, 단 5개 토큰으로 공간적 목표와 waypoint trajectory를 예측합니다. 조작 VLA는 단일 forward pass에서 이미지, 언어, 로봇 상태를 8단계 연속 action chunk로 매핑합니다. 15개 embodiment에 걸쳐 공동 학습한 VLA는 네 가지 LIBERO 평가 모음에서 평균 96.2%의 성공률을, RoboCasa-GR1 tabletop 작업에서 45.7%의 성공률을 달성했습니다. TensorRT FP16을 사용하는 Jetson AGX Orin에서 50ms 이내에 action chunk를 생성합니다. 이러한 결과는 LFM3-VL-2B가 로보틱스를 위한 소형 파운데이션으로서, 임베디드 하드웨어에서 실시간 action generation을 수행하며 고수준 계획부터 저수준 제어까지 아우를 수 있음을 보여줍니다.

this demo video에서 LFM3-VL-2B가 인식, 내비게이션, 조작을 처리하는 모습을 확인하세요.

LFM3 시작하기

모든 LFM3 모델은 open-weight이며 현재 Hugging Face에서 사용할 수 있습니다.

• 다운로드: Hugging Face의 LFM3 collection을 다운로드하세요. 여기에는 자체 post-training을 위한 LFM3-1.7B-Base도 포함됩니다.

• Fine-tuning: fine-tuning notebooks을 사용해 LFM3를 작업에 맞게 조정하세요.

• 하니스에서 사용: OpenClaw, Hermes Agent, Pi와 같은 로컬 에이전트를 실행하는 방법은 guide을 따르세요.

여러분이 무엇을 만들어낼지 기대됩니다.

인용

이 작업을 사용한다면 릴리스 블로그를 인용해 주세요.

@article{liquidAI2026LFM3,
  author = {Liquid AI},
  title = {Introducing LFM3: Every Modality for Specialized Intelligence},
  journal = {Liquid AI Blog},
  year = {2026},
  note = {www.liquid.ai/blog/lfm3},
}