10 промтов для RAG систем: индексация, поиск и генерация с примерами кода

Разбей следующий текст на фрагменты по 500 токенов с перекрытием 50 токенов. Убедись, что каждый фрагмент начинается с полного предложения. Если предложение не помещается, перенеси его в следующий чанк целиком.

Текст: {document}

Фрагменты:

from langchain.text_splitter import RecursiveCharacterTextSplitter

text = "RAG (Retrieval-Augmented Generation) — это архитектура, которая позволяет LLM отвечать на вопросы..."
splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50, separators=["\n\n", "\n", ". ", " "])
chunks = splitter.split_text(text)
print(f"Количество чанков: {len(chunks)}")

Преобразуй следующий текст в эмбеддинг размерностью 768. Используй модель all-MiniLM-L6-v2. Нормализуй вектор, чтобы его длина была равна 1.

Текст: {chunk}

Эмбеддинг:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('all-MiniLM-L6-v2')
chunk = "RAG позволяет интегрировать внешние данные в LLM."
embedding = model.encode(chunk, normalize_embeddings=True)
print(f"Размерность: {len(embedding)}, первые 5 значений: {embedding[:5]}")

Для заданного запроса вычисли косинусное сходство между эмбеддингом запроса и эмбеддингами всех чанков. Верни индексы и значения сходства для топ-5 чанков.

Запрос: {query}
Чанки: {chunks}

Результат:

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

query_emb = model.encode("Как работает RAG?", normalize_embeddings=True)
chunk_embs = [model.encode(c, normalize_embeddings=True) for c in chunks]
similarities = cosine_similarity([query_emb], chunk_embs)[0]
top_indices = np.argsort(similarities)[-5:][::-1]
print(f"Топ-5 индексов: {top_indices}, значения: {similarities[top_indices]}")

Выполни гибридный поиск: взвесь результаты векторного поиска (косинусное сходство) и BM25 (TF-IDF) с коэффициентами alpha=0.7 и beta=0.3. Отсортируй по сумме весов. Верни топ-3 чанка.

Запрос: {query}
Чанки: {chunks}

Результат:

from rank_bm25 import BM25Okapi

bm25 = BM25Okapi([c.split() for c in chunks])
bm25_scores = bm25.get_scores(query.split())
cosine_scores = cosine_similarity([query_emb], chunk_embs)[0]
alpha, beta = 0.7, 0.3
combined = alpha * cosine_scores + beta * bm25_scores
top_indices = np.argsort(combined)[-3:][::-1]
print(f"Лучшие чанки: {[chunks[i] for i in top_indices]}")

Определи семантические границы в тексте: разделяй по двойным переносам строки, заголовкам (##, ###) и маркированным спискам. Каждый чанк должен содержать законченную мысль. Минимальный размер — 100 токенов, максимальный — 1000.

Текст: {document}

Чанки:

from langchain.text_splitter import MarkdownHeaderTextSplitter

headers_to_split_on = [("##", "Section"), ("###", "Subsection")]
splitter = MarkdownHeaderTextSplitter(headers_to_split_on)
chunks = splitter.split_text(text)
for chunk in chunks:
    print(chunk.page_content[:100])

Для каждого из топ-10 чанков вычисли оценку релевантности с помощью кросс-энкодера cross-encoder/ms-marco-MiniLM-L-6-v2. Отсортируй чанки по убыванию оценки и верни топ-3.

Запрос: {query}
Чанки: {candidates}

Результат:

from sentence_transformers import CrossEncoder

cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
pairs = [[query, chunk] for chunk in candidates]
scores = cross_encoder.predict(pairs)
top_indices = np.argsort(scores)[-3:][::-1]
print(f"После реранжирования: {[candidates[i] for i in top_indices]}")

Ты — ассистент, который отвечает на вопросы, используя только предоставленные фрагменты текста. Если ответа нет в фрагментах, скажи: "Информация не найдена в предоставленных документах". Для каждого утверждения укажи номер чанка в квадратных скобках. Не используй внешние знания.

Вопрос: {question}
Фрагменты:
[1] {chunk1}
[2] {chunk2}
[3] {chunk3}

Ответ:

Создай 5 альтернативных формулировок для заданного вопроса. Варианты должны быть семантически близки, но использовать разные слова и синтаксис. Верни их в виде списка.

Исходный вопрос: {question}

Варианты:

from langchain.prompts import PromptTemplate
from langchain.llms import OpenAI

prompt = PromptTemplate.from_template("Создай 5 альтернативных формулировок для вопроса: {question}")
llm = OpenAI(model="gpt-4", temperature=0.7)
queries = llm.invoke(prompt.format(question="Как работает RAG?"))
print(queries)

Выполни поиск по векторной базе данных, применив фильтр: дата публикации позже 2024-01-01, категория = 'AI'. Используй метаданные, сохранённые в коллекции. Верни топ-3 чанка с их метаданными.

Запрос: {query}
Фильтр: {filter}

Результат:

import chromadb

client = chromadb.Client()
collection = client.get_or_create_collection("docs")
results = collection.query(
    query_texts=[query],
    n_results=3,
    where={"date": {"$gte": "2024-01-01"}, "category": "AI"}
)
print(results['documents'])

Оцени ответ по критериям: (1) релевантность — использует ли ответ только факты из чанков? (2) полнота — охватывает ли ответ все аспекты вопроса? (3) точность цитирования — верно ли указаны номера чанков? Верни оценку от 0 до 1 и пояснение.

Вопрос: {question}
Чанки: {chunks}
Ответ: {answer}

Оценка:

from langchain.evaluation import load_evaluator

evaluator = load_evaluator("labeled_criteria", criteria="relevance")
result = evaluator.evaluate_strings(
    prediction=answer,
    reference=chunks,
    input=question
)
print(result)