LlamaIndex

🗂️ LlamaIndex 프레임워크 🦙

참고

LlamaIndex의 현재 초점은 문서 파싱 및 추출을 위한 최고의 AI 기반 엔진을 구축하는 것입니다. LlamaParse는 에이전틱 OCR, 파싱, 추출, 인덱싱 등을 위한 엔터프라이즈 플랫폼입니다. LiteParse는 시장에서 가장 무료이고 빠르며 저렴한 텍스트 파서를 구축하려는 우리의 노력을 나타냅니다. ParseBench와 ExtractBench는 파싱과 추출을 위한 오픈 벤치마킹에 대한 우리의 의지를 보여줍니다.

이 회사는 이 OSS 프레임워크가 2023년에 처음 출시된 이후로 진화를 거듭해 왔습니다. 초기부터 이 프레임워크는 개발자들이 다양한 RAG 및 에이전트 애플리케이션을 구축할 수 있도록 하는 광범위한 오케스트레이션 도구 세트로 구성되어 있었습니다.

여전히 OSS 프레임워크를 자유롭게 사용하실 수 있는 오픈 툴킷으로 제공하고 있지만, 우리의 주요 초점은 LlamaParse, liteparse, 그리고 벤치마킹 노력으로 이동했습니다. 우리는 에이전트가 문서의 새로운 소비자이며, 세계에서 가장 어려운 문서로부터 컨텍스트를 정확하고 저렴하게 대규모로 풀어내기 위해서는 근본적으로 올바른 도구가 필요하다고 강하게 믿습니다. 문서를 처리하는 AI 스타트업이든 문서 워크플로우를 자동화하려는 기업이든, 저희에게 문의해 주세요.

LlamaIndex 프레임워크(LlamaParse를 만든 회사인 LlamaIndex 제작)는 에이전틱 애플리케이션을 구축하기 위한 오픈소스 프레임워크입니다. 이 프레임워크와 함께 LlamaParse를 사용하거나 단독으로 사용할 수 있습니다. 가입 및 제품 링크는 아래 LlamaParse를 참조하세요.

📚 문서:

LlamaParse
LlamaIndex 프레임워크
LlamaAgents

LlamaIndex로 구축하는 것은 일반적으로 LlamaIndex core와 선택한 통합(또는 플러그인) 세트를 함께 사용하는 것을 포함합니다. Python에서 LlamaIndex로 구축을 시작하는 방법은 두 가지가 있습니다:

Starter: llama-index. core LlamaIndex와 선택된 통합 세트를 포함하는 스타터 Python 패키지입니다.

Customized: llama-index-core. core LlamaIndex를 설치하고, 애플리케이션에 필요한 LlamaIndex 통합 패키지를 통합 페이지에서 추가하세요. core와 원활하게 작동하는 300개 이상의 LlamaIndex 통합 패키지가 있어, 선호하는 LLM, 임베딩, 벡터 스토어 제공업체로 구축할 수 있습니다.

LlamaIndex Python 라이브러리는 core를 포함하는 import 문이 core 패키지가 사용됨을 암시하도록 네임스페이스가 구성되어 있습니다. 반대로 core가 없는 문은 통합 패키지가 사용됨을 암시합니다.

# 일반적인 패턴
from llama_index . core . xxx import ClassABC # core 하위 모듈 xxx
from llama_index . xxx . yyy import (
SubclassABC ,
) # 하위 모듈 xxx에 대한 통합 yyy

# 구체적인 예시
from llama_index . core . llms import LLM
from llama_index . llms . openai import OpenAI
LlamaParse (문서 에이전트 플랫폼)
LlamaParse는 문서 에이전트와 에이전틱 OCR에 초점을 맞춘 자체 플랫폼입니다. Parse(파싱), LlamaAgents(배포된 문서 에이전트), Extract(구조화된 추출), Index(수집 및 RAG)를 포함합니다. LlamaIndex 프레임워크와 함께 또는 단독으로 사용할 수 있습니다.

LlamaParse 가입 — 계정을 만들고 API 키를 받으세요.
Parse — 에이전틱 OCR 및 문서 파싱(130개 이상의 형식). 문서
Extract — 문서로부터의 구조화된 데이터 추출. 문서
Index — 수집, 인덱싱, RAG 파이프라인. 문서
Split — 대용량 문서를 하위 카테고리로 분할. 문서
Agents — Workflows와 Agent Builder로 엔드투엔드 문서 에이전트 구축. 문서

중요 링크
문서

X (구 Twitter)

LinkedIn

Reddit

Discord

🚀 개요
참고: 이 README는 문서만큼 자주 업데이트되지 않습니다. 최신 업데이트는 위의 문서를 확인해 주세요!

컨텍스트

LLM은 지식 생성과 추론을 위한 놀라운 기술입니다. LLM은 대량의 공개적으로 이용 가능한 데이터로 사전 학습됩니다.
어떻게 하면 LLM을 우리 자신의 비공개 데이터로 가장 잘 보강할 수 있을까요?

LLM을 위한 이 데이터 보강을 수행하는 데 도움이 되는 포괄적인 툴킷이 필요합니다.

제안된 솔루션
바로 여기에서 LlamaIndex가 등장합니다. LlamaIndex는 LLM 앱을 구축하는 데 도움이 되는 "데이터 프레임워크"입니다. 다음과 같은 도구를 제공합니다:

기존 데이터 소스와 데이터 형식(API, PDF, 문서, SQL 등)을 수집하기 위한 데이터 커넥터를 제공합니다.
이 데이터를 LLM과 쉽게 사용할 수 있도록 데이터를 구조화하는 방법(인덱스, 그래프)을 제공합니다.
데이터에 대한 고급 검색/쿼리 인터페이스를 제공합니다: 어떤 LLM 입력 프롬프트든 넣으면 검색된 컨텍스트와 지식으로 보강된 출력을 돌려받습니다.
외부 애플리케이션 프레임워크(예: LangChain, Flask, Docker, ChatGPT 또는 그 밖의 무엇이든)와의 쉬운 통합을 지원합니다.

LlamaIndex는 초보 사용자와 고급 사용자 모두를 위한 도구를 제공합니다. 우리의 고수준 API를 통해 초보 사용자는 5줄의 코드로 LlamaIndex를 사용하여 데이터를 수집하고 쿼리할 수 있습니다. 우리의 저수준 API를 통해 고급 사용자는 모든 모듈(데이터 커넥터, 인덱스, 리트리버, 쿼리 엔진, 리랭킹 모듈)을 필요에 맞게 커스터마이즈하고 확장할 수 있습니다.

💡 기여
기여에 관심이 있으신가요? LlamaIndex core에 대한 기여와 core를 기반으로 하는 통합 기여 모두 환영하며 적극 권장합니다! 자세한 내용은 기여 가이드를 참조하세요.

새로운 통합은 기존 LlamaIndex 프레임워크 구성 요소와 의미 있게 통합되어야 합니다. LlamaIndex 메인테이너의 재량에 따라 일부 통합은 거절될 수 있습니다.

📄 문서
전체 문서는 여기에서 확인할 수 있습니다.

최신 튜토리얼, 방법 가이드, 레퍼런스 및 기타 리소스를 확인해 주세요!

💻 사용 예시
# core와 함께 사용할 통합의 커스텀 선택
pip install llama-index-core
pip install llama-index-llms-openai
pip install llama-index-llms-ollama
pip install llama-index-embeddings-huggingface
예시는 docs/examples 폴더에 있습니다. 인덱스는 indices 폴더에 있습니다(아래 인덱스 목록 참조).

OpenAI를 사용하여 간단한 벡터 스토어 인덱스를 구축하려면:

import os

os . environ [ "OPENAI_API_KEY" ] = "YOUR_OPENAI_API_KEY"

from llama_index . core import VectorStoreIndex , SimpleDirectoryReader

documents = SimpleDirectoryReader ( "YOUR_DATA_DIRECTORY" ). load_data ()
index = VectorStoreIndex . from_documents ( documents )
OpenAI가 아닌 LLM, 예를 들어 Ollama를 통해 호스팅되는 LLM을 사용하여 간단한 벡터 스토어 인덱스를 구축하려면:

from llama_index . core import Settings , VectorStoreIndex , SimpleDirectoryReader
from llama_index . embeddings . huggingface import HuggingFaceEmbedding
from llama_index . llms . ollama import Ollama
from transformers import AutoTokenizer

# LLM 설정
Settings . llm = Ollama (
model = "llama-3.1:latest" ,
request_timeout = 360.0 ,
)

# LLM에 맞게 토크나이저 설정
Settings . tokenizer = AutoTokenizer . from_pretrained (
"meta-llama/Llama-3.1-8B-Instruct"
)

# 임베드 모델 설정
Settings . embed_model = HuggingFaceEmbedding (
model_name = "BAAI/bge-small-en-v1.5"
)

documents = SimpleDirectoryReader ( "YOUR_DATA_DIRECTORY" ). load_data ()
index = VectorStoreIndex . from_documents (
documents ,
)
쿼리하려면:

query_engine = index . as_query_engine ()
query_engine . query ( "YOUR_QUESTION" )
기본적으로 데이터는 메모리에 저장됩니다.
디스크(./storage 아래)에 영속화하려면:

index . storage_context . persist ()
디스크에서 다시 로드하려면:

from llama_index . core import StorageContext , load_index_from_storage

# 스토리지 컨텍스트 재구성
storage_context = StorageContext . from_defaults ( persist_dir = "./storage" )
# 인덱스 로드
index = load_index_from_storage ( storage_context )
빌드 자산 검증에 관한 참고
기본적으로 llama-index-core에는 패키지 설치 시 포함되는 nltk 및 tiktoken 캐시가 담긴 _static 폴더가 포함됩니다. 이를 통해 런타임에 디스크 접근 권한이 제한된 환경에서도 llama-index를 쉽게 실행할 수 있습니다.

이 파일들이 안전하고 유효한지 검증하기 위해 github attest-build-provenance 액션을 사용합니다. 이 액션은 _static 폴더의 파일이 llama-index-core/llama_index/core/_static 폴더의 파일과 동일한지 검증합니다.

이를 검증하려면 다음 스크립트를 실행하세요(설치된 패키지를 가리키도록):

#! /bin/bash
STATIC_DIR= " venv/lib/python3.13/site-packages/llama_index/core/_static "
REPO= " run-llama/llama_index "

find " $STATIC_DIR " -type f | while read -r file ; do
echo " Verifying: $file "
gh attestation verify " $file " -R " $REPO " || echo " Failed to verify: $file "
done
📖 인용
논문에서 LlamaIndex를 사용하는 경우 인용할 레퍼런스:

@software{Liu_LlamaIndex_2022,
author = {Liu, Jerry},
doi = {10.5281/zenodo.1234},
month = {11},
title = {{LlamaIndex}},
url = {https://github.com/jerryjliu/llama_index},
year = {2022}
}