promptfoo

Promptfoo: LLM 평가 & 레드 팀 구성

promptfoo는 LLM 기반 앱을 평가하고 레드 팀 테스트를 수행하기 위한 CLI 및 라이브러리입니다. 시행착오는 그만두고... 안전하고 신뢰할 수 있는 에이전트를 배포하세요

웹사이트 ·
시작하기 ·
레드 팀 구성 ·
문서 ·
Discord

Promptfoo는 이제 OpenAI의 일부입니다. Promptfoo는 오픈 소스로 유지되며 MIT 라이선스를 따릅니다. 회사 업데이트를 읽어보세요.

빠른 시작
npm install -g promptfoo
promptfoo init --example getting-started
brew install promptfoo 및 pip install promptfoo 로도 사용할 수 있습니다. 또는 설치 없이 모든 명령을 실행하려면 npx promptfoo@latest 를 사용하세요.

대부분의 LLM 제공업체는 API 키가 필요합니다. 환경 변수로 설정하세요:

export OPENAI_API_KEY=sk-abc123
평가를 실행하고 결과를 확인하세요:

cd getting-started
promptfoo eval
promptfoo view

자세한 내용은 시작하기(평가) 또는 레드 팀 구성(취약점 스캔)을 참조하세요!

Promptfoo로 무엇을 할 수 있나요?

자동화된 평가로 프롬프트와 모델 테스트
레드 팀 구성 및 취약점 스캔으로 LLM 앱 보안 강화
모델을 나란히 비교 (OpenAI, Anthropic, Azure, Bedrock, Ollama 등 )
CI/CD에서 자동 검사
코드 스캔으로 LLM 관련 보안 및 규정 준수 문제에 대한 풀 리퀘스트 검토
팀과 결과 공유

실제 작동 모습은 다음과 같습니다:

명령줄에서도 작동합니다:

보안 취약점 보고서 도 생성할 수 있습니다:

왜 Promptfoo인가요?

개발자 우선 : 라이브 리로드와 캐싱 같은 기능으로 빠릅니다
프라이빗 : LLM 평가가 100% 로컬에서 실행됩니다 - 프롬프트가 절대 여러분의 머신을 떠나지 않습니다
유연함 : 모든 LLM API 또는 프로그래밍 언어와 함께 작동합니다
검증됨 : 프로덕션에서 1,000만 명 이상의 사용자에게 서비스하는 LLM 앱을 구동합니다
데이터 기반 : 직감이 아닌 지표를 기반으로 의사 결정
오픈 소스 : 활발한 커뮤니티와 함께 MIT 라이선스

더 알아보기

시작하기
전체 문서
레드 팀 구성 가이드
CLI 사용법
Node.js 패키지
지원 모델
코드 스캔 가이드

기여하기
기여를 환영합니다! 시작하려면 기여 가이드를 확인하세요.

도움과 토론을 위해 Discord 커뮤니티에 참여하세요.