Langfuse는 오픈 소스 LLM 엔지니어링 플랫폼입니다.
팀이 협업하여 AI 애플리케이션을 개발, 모니터링, 평가 및 디버그할 수 있도록 도와줍니다.
Langfuse는 몇 분 안에 셀프 호스팅할 수 있으며, 검증된(battle-tested) 솔루션입니다.

• LLM 애플리케이션 관측
  앱에 계측(instrumentation)을 추가하여 Langfuse로 trace 데이터를 수집함으로써, 검색, 임베딩, 또는 에이전트 동작과 같은 LLM 호출 및 기타 관련 로직을 추적할 수 있습니다. 복잡한 로그와 사용자 세션을 확인 및 디버깅 해보세요. 인터랙티브 데모를 통해 실제 작동 예를 확인할 수 있습니다.

• 프롬프트 관리
  프롬프트를 중앙에서 관리하고 버전 관리하며 협업으로 수정할 수 있도록 도와줍니다. 서버와 클라이언트 측의 강력한 캐싱 덕분에 애플리케이션에 지연(latency)을 추가하지 않고도 프롬프트를 반복 개선할 수 있습니다.

• 평가
  LLM 애플리케이션 개발 워크플로우에서 핵심적인 역할을 하며, Langfuse는 여러분의 필요에 맞게 유연하게 대응합니다. LLM을 심사자로 활용하는 기능, 사용자 피드백 수집, 수동 라벨링 및 API/SDK를 통한 맞춤 평가 파이프라인을 지원합니다.

• 데이터셋
  LLM 애플리케이션 평가를 위한 테스트 세트와 벤치마크를 제공하여, 지속적인 개선, 배포 전 테스트, 구조화된 실험, 유연한 평가 및 LangChain과 LlamaIndex와 같은 프레임워크와의 원활한 통합을 지원합니다.

• LLM 플레이그라운드
  프롬프트와 모델 구성에 대해 테스트 및 반복 개선할 수 있는 도구로, 피드백 루프를 단축하여 개발 속도를 높여줍니다. trace에서 이상한 결과가 발생하면 플레이그라운드로 바로 이동해 개선할 수 있습니다.

• 종합 API
  Langfuse는 API를 통해 제공되는 구성 요소들을 활용하여 맞춤형 LLMOps 워크플로우를 강화하는 데 자주 사용됩니다. OpenAPI 명세, Postman 컬렉션, Python 및 JS/TS용 타입드 SDK가 제공됩니다.

Langfuse 팀이 관리하는 배포 방식으로, 후한 무료 플랜(취미 플랜)을 제공하며 신용카드가 필요하지 않습니다.

자체 인프라에서 Langfuse를 실행하세요:

• 로컬 (docker compose): Docker Compose를 사용하여 본인의 컴퓨터에서 5분 안에 Langfuse를 실행할 수 있습니다.

  # 최신 Langfuse 저장소 클론
  git clone https://github.com/langfuse/langfuse.git
  cd langfuse
  
  # langfuse docker compose 실행
  docker compose up

• Kubernetes (Helm): Helm을 사용해 Kubernetes 클러스터에서 Langfuse를 실행합니다. 이는 권장되는 프로덕션 배포 방식입니다.

• VM: Docker Compose를 사용해 단일 가상 머신에서 Langfuse를 실행합니다.

• Terraform 템플릿: AWS, Azure, GCP

자세한 내용은 자체 호스팅 문서를 참조하세요.

앱에 계측을 추가하고 Langfuse에 trace 데이터를 수집하여, LLM 호출 및 검색, 임베딩, 에이전트 동작과 같은 애플리케이션 로직을 추적해보세요. 복잡한 로그와 사용자 세션을 확인하여 디버깅할 수 있습니다.

1. Langfuse 계정 생성 또는 셀프 호스트
2. 새 프로젝트를 생성합니다.
3. 프로젝트 설정에서 새로운 API 자격 증명을 생성합니다.

@observe() 데코레이터를 사용하면 Python LLM 애플리케이션의 추적이 매우 간편해집니다. 이 빠른 시작 예제에서는 Langfuse OpenAI 통합을 사용하여 모든 모델 파라미터를 자동으로 캡처합니다.

pip install langfuse openai

LANGFUSE_SECRET_KEY="sk-lf-..."
LANGFUSE_PUBLIC_KEY="pk-lf-..."
LANGFUSE_HOST="https://cloud.langfuse.com" # 🇪🇺 EU region
# LANGFUSE_HOST="https://us.cloud.langfuse.com" # 🇺🇸 US region

from langfuse import observe
from langfuse.openai import openai # OpenAI integration

@observe()
def story():
    return openai.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": "What is Langfuse?"}],
    ).choices[0].message.content

@observe()
def main():
    return story()

main()

Langfuse에서 LLM 호출 및 애플리케이션의 기타 로직에 대한 trace를 확인할 수 있습니다.

Langfuse의 공개 예제 trace

질문에 대한 답변을 찾는 방법:

• 우리의 문서는 답을 찾기 위한 최적의 장소입니다. 문서가 매우 포괄적이며, 유지보수에 많은 노력을 기울이고 있습니다. GitHub를 통해 문서 수정 제안도 가능합니다.
• Langfuse FAQ에서는 가장 흔한 질문에 대해 답변하고 있습니다.
• 질문에 즉각적인 답변이 필요하다면 Ask AI를 사용해보세요.

지원 채널:

• GitHub Discussions의 공개 Q&A 에 질문을 남겨주세요. 가능한 한 많은 세부 사항(예: 코드 스니펫, 스크린샷, 배경 정보)을 포함해 질문해 주시기 바랍니다.
• 기능 요청을 남겨주세요.
• 버그 신고는 GitHub Issues를 통해 해주세요.
• 긴급한 문의는 앱 내 채팅 위젯을 통해 연락 바랍니다.

여러분의 기여를 환영합니다!

• GitHub Discussions의 아이디어에 투표해보세요.
• GitHub Issues에서 이슈를 제기하고 댓글을 남겨주세요.
• PR을 제출하세요 – 개발 환경 설정 방법 등 자세한 내용은 CONTRIBUTING.md를 참조하세요.

이 저장소는 ee 폴더를 제외하고 MIT 라이선스가 적용됩니다. 자세한 내용은 LICENSE와 문서를 확인하세요.

별(star) 수를 기준으로 순위가 매겨진 Langfuse를 사용하는 상위 오픈 소스 Python 프로젝트들 (출처):

저장소	별
langgenius / dify	54865
open-webui / open-webui	51531
lobehub / lobe-chat	49003
langflow-ai / langflow	39093
run-llama / llama_index	37368
chatchat-space / Langchain-Chatchat	32486
FlowiseAI / Flowise	32448
mindsdb / mindsdb	26931
twentyhq / twenty	24195
PostHog / posthog	22618
BerriAI / litellm	15151
mediar-ai / screenpipe	11037
formbricks / formbricks	9386
anthropics / courses	8385
GreyDGL / PentestGPT	7374
superagent-ai / superagent	5391
promptfoo / promptfoo	4976
onlook-dev / onlook	4141
Canner / WrenAI	2526
pingcap / autoflow	2061
MLSysOps / MLE-agent	1161
open-webui / pipelines	1100
alishobeiri / thread	1074
topoteretes / cognee	971
bRAGAI / bRAG-langchain	823
opslane / opslane	677
dynamiq-ai / dynamiq	639
theopenconversationkit / tock	514
andysingal / llm-course	394
phospho-app / phospho	384
sentient-engineering / agent-q	370
sql-agi / DB-GPT	324
PostHog / posthog-foss	305
vespperhq / vespper	304
block / goose	295
aorwall / moatless-tools	291
dmayboroda / minima	221
RobotecAI / rai	172
i-am-alice / 3rd-devs	148
8090-inc / xrx-sample-apps	138
babelcloud / LLM-RGB	135
souzatharsis / tamingLLMs	129
LibreChat-AI / librechat.ai	128
deepset-ai / haystack-core-integrations	126

우리는 데이터 보안과 개인정보 보호를 매우 중요하게 생각합니다. 자세한 내용은 Security and Privacy 페이지를 참조하세요.

기본적으로 Langfuse는 자체 호스팅 인스턴스의 기본 사용 통계를 중앙 서버(PostHog)로 자동 보고합니다.

이를 통해:

1. Langfuse가 어떻게 사용되는지 이해하고, 가장 관련성 높은 기능을 개선할 수 있습니다.
2. 내부 및 외부(예: 자금 조달) 보고를 위한 전체 사용량을 추적할 수 있습니다.

수집된 데이터는 제3자와 공유되지 않으며 민감한 정보를 포함하지 않습니다. 이에 대해 매우 투명하게 공개하고 있으며, 수집되는 정확한 데이터는 여기에서 확인할 수 있습니다.

환경 변수 TELEMETRY_ENABLED=false를 설정하여 옵트아웃할 수 있습니다.