Baseten, Hugging Face Inference Providers에 합류 🔥

Baseten, Hugging Face Inference Providers에 합류 🔥

이 글은 Hugging Face 블로그의 Baseten on Hugging Face Inference Providers 🔥를 한국어로 번역한 글입니다.

Baseten 환영 배너 이미지

Baseten, Hugging Face Inference Providers에 합류 🔥

저희는 기쁘게 소식을 전합니다. Baseten이 이제 Hugging Face Hub에서 지원하는 Inference Provider가 되었습니다!

Baseten은 확장 중인 생태계에 합류하여 Hub의 모델 페이지에서 직접 서버리스 추론의 폭과 기능을 확장합니다. Inference Providers는 또한 우리의 클라이언트 SDK(JS와 Python용)에 원활하게 통합되어 선호하는 제공자와 함께 다양한 모델을 쉽게 사용할 수 있게 됩니다.

Baseten은 서버리스 AI, 학습 등을 아우르는 AI 인프라 플랫폼입니다. 다양한 프런티어 모델 카탈로그를 갖춘 Baseten은 개발자들이 최소한의 설정으로 애플리케이션에 다양한 AI 기능을 쉽게 통합할 수 있도록 해줍니다.

Baseten은 LLM에서 음성합성(text-to-speech) 등 광범위한 모델 타입을 지원합니다. 이번 초기 통합의 일환으로 Baseten은 Hugging Face에서 대화형 및 텍스트 생성 작업에 대한 지원을 시작하여 Kimi K3, 최신 DeepSeek V4 Flash, GLM-5.2 등 널리 사용되는 다양한 오픈 웨이트 LLM에 접근할 수 있게 합니다. 추가 작업에 대한 지원은 곧 출시될 예정입니다!

Baseten이 지원하는 전체 모델 목록은 여기에서 확인할 수 있습니다.

Hugging Face에서 Baseten을 팔로우하세요: https://huggingface.co/baseten.

작동 방식

웹사이트 UI에서

사용자 계정 설정에서 다음을 할 수 있습니다:

가입한 공급자의 API 키를 직접 설정합니다. 커스텀 키가 설정되지 않으면 요청은 HF를 통해 라우팅됩니다.
선호도 순으로 공급자를 정렬합니다. 이는 모델 페이지의 위젯과 코드 조각에 적용됩니다.

Inference Providers 설정 화면

앞에서 언급했듯이 Inference Providers를 호출할 때 두 가지 모드가 있습니다:

사용자 지정 키(해당 Inference Provider의 API 키를 사용하여 공급자에 직접 호출이 진행됩니다)
HF를 통해 라우팅(그 경우 공급자로부터 토큰이 필요하지 않으며 요금은 공급자의 계정이 아니라 HF 계정에 직접 적용됩니다)

Inference Providers 동작 방식 설명 이미지

모델 페이지는 서드파티 Inference Providers를 보여줍니다(현재 모델과 호환되는, 사용자의 선호도에 따라 정렬된 공급자들)

클라이언트 SDK에서

Baseten은 Hugging Face SDK를 통해 이용 가능합니다 - Python용 huggingface_hub (>= 1.26.1) 및 JavaScript용 @huggingface/inference.

다음 예제는 Baseten을 통해 최신 DeepSeek V4 Flash를 사용하는 방법을 보여줍니다. 인증하려면 Hugging Face token를 사용하세요 — 요청은 자동으로 Baseten으로 라우팅됩니다.

가장 좋아하는 Agent Harness에서

Hugging Face Inference Providers는 Pi, OpenCode, Hermes Agents, OpenClaw 등 대부분의 Agent Harness에 통합되어 있습니다. 즉 Baseten-호스팅 모델을 추가 코드 없이 바로 선호 도구에 연결할 수 있습니다. 전체 통합 목록을 보려면 여기를 확인하세요.

Python에서

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Flash-0731:baseten",
    messages=[
        {
            "role": "user",
            "content": "Write a Python function that returns the nth Fibonacci number using memoization."
        }
    ],
)

print(completion.choices[0].message)

JS에서

import { OpenAI } from "openai";

const client = new OpenAI({
    baseURL: "https://router.huggingface.co/v1",
    apiKey: process.env.HF_TOKEN,
});

const chatCompletion = await client.chat.completions.create({
    model: "deepseek-ai/DeepSeek-V4-Flash-0731:baseten",
    messages: [
        {
            role: "user",
            content: "Write a Python function that returns the nth Fibonacci number using memoization.",
        },
    ],
});

console.log(chatCompletion.choices[0].message);