RAG своими руками: как скормить AI свои документы и базу знаний

Представьте: вы задаёте ChatGPT вопрос по внутреннему регламенту компании, а он выдаёт общие фразы из интернета. Знакомая боль? LLM (большие языковые модели) отлично генерируют текст, но их знания заканчиваются на дате обучения. Решение — **RAG (Retrieval Augmented Generation)**. Это архитектура, которая позволяет AI «подглядывать» в ваши документы перед ответом. Сегодня мы соберём такую систему своими руками — без сложных фреймворков, только Python, эмбеддинги и здравый смысл. ## Что такое RAG и зачем он нужен? **Retrieval Augmented Generation** — это гибрид поиска и генерации. Вместо того чтобы полагаться только на внутренние знания модели, RAG сначала находит релевантные фрагменты из вашей базы знаний, а затем передаёт их LLM как контекст. Результат — точные ответы на основе ваших данных, без галлюцинаций. Где это пригодится: - **Корпоративные чат-боты** — ответы по политикам, инструкциям, FAQ. - **Ассистенты поддержки** — поиск по базе знаний без переобучения модели. - **Анализ документов** — извлечение фактов из договоров, отчётов, статей. ## Этап 1: Загрузка и подготовка документов Любая RAG-система начинается с данных. Допустим, у вас есть папка с PDF, DOCX и TXT. Первый шаг — извлечь текст. Используем `PyMuPDF` для PDF и `python-docx` для Word. ```python import fitz def extract_text_from_pdf(path): doc = fitz.open(path) return ''.join([page.get_text() for page in doc]) ``` Но просто скормить весь документ целиком нельзя — модель имеет ограничение по контексту (например, 4K или 8K токенов). Поэтому текст нужно разбить на куски — **чанкинг**. ## Этап 2: Чанкинг — искусство нарезки текста Чанкинг — это разделение документа на семантические блоки. Плохой чанк (например, обрыв предложения) испортит поиск. Хороший чанк — законченная мысль. **Правила грамотного чанкинга:** - Размер: 500–1000 токенов (оптимально для поиска и контекста). - Перекрытие (overlap): 10–20% — чтобы не потерять контекст на стыках. - Разделители: абзацы, заголовки, маркированные списки. Пример на `langchain`: ```python from langchain.text_splitter import RecursiveCharacterTextSplitter splitter = RecursiveCharacterTextSplitter( chunk_size=1000, chunk_overlap=200, separators=["\n\n", "\n", ". ", " "] ) chunks = splitter.split_text(text) ``` ## Этап 3: Эмбеддинги — превращаем текст в векторы Компьютер не понимает слова, но понимает числа. **Эмбеддинги** — это векторные представления текста, где близкие по смыслу фрагменты находятся рядом в многомерном пространстве. Для генерации эмбеддингов используем модели типа `text-embedding-ada-002` (OpenAI) или opensource `intfloat/e5-large-v2`. Результат — массив чисел длиной 768 или 1536. ```python from openai import OpenAI client = OpenAI() def get_embedding(text): response = client.embeddings.create( model="text-embedding-ada-002", input=text ) return response.data[0].embedding ``` Каждый чанк превращается в вектор. Эти векторы нужно где-то хранить. ## Этап 4: Векторная база — ваш поисковый движок **Векторная база** (vector database) хранит эмбеддинги и умеет быстро искать ближайших соседей. Самые популярные: | База данных | Особенности | Когда использовать | |-------------|-------------|-------------------| | Chroma | Лёгкая, встраивается в Python | Прототипы, маленькие проекты | | Pinecone | Облачная, высокая скорость | Продакшен с большими объёмами | | Qdrant | Opensource, гибкая конфигурация | Сложные запросы с фильтрами | | FAISS (Facebook) | Библиотека, не база | Высокопроизводительный поиск | Пример с Chroma: ```python import chromadb client = chromadb.Client() collection = client.create_collection(name="my_knowledge_base") collection.add( embeddings=[get_embedding(chunk) for chunk in chunks], documents=chunks, ids=[f"chunk_{i}" for i in range(len(chunks))] ) ``` Теперь по запросу мы ищем top-k похожих чанков. ## Этап 5: Генерация ответа — соединяем поиск и LLM Когда пользователь задаёт вопрос, мы: 1. Превращаем вопрос в эмбеддинг. 2. Ищем в векторной базе 3–5 похожих чанков. 3. Формируем промпт: контекст + вопрос. 4. Отправляем в LLM (GPT-4, Claude, YandexGPT). Пример промпта: ``` Ответь на вопрос на основе предоставленного контекста. Если в контексте нет ответа, скажи: «Не могу найти информацию». Контекст: {context} Вопрос: {question} ``` Код: ```python def answer_question(query, top_k=3): query_emb = get_embedding(query) results = collection.query(query_embeddings=[query_emb], n_results=top_k) context = "\n\n".join(results['documents'][0]) response = client.chat.completions.create( model="gpt-4", messages=[ {"role": "system", "content": "Ты - эксперт, отвечающий строго по контексту."}, {"role": "user", "content": f"Контекст:\n{context}\n\nВопрос: {query}"} ] ) return response.choices[0].message.content ``` ## Оптимизация: гибридный поиск и фильтрация Чисто векторный поиск хорош, но не идеален. **Гибридный поиск** (векторный + BM25) даёт лучшие результаты: ловит точные совпадения и семантику одновременно. Реализуется через `langchain.retrievers` или `Qdrant` с поддержкой sparse vectors. Дополнительно: добавьте **метаданные** (дата, автор, теги) и фильтруйте по ним — например, искать только документы за 2026 год. ## Заключение Собрать RAG-систему своими руками — реально за вечер. Вы загружаете документы, режете на чанки, превращаете в эмбеддинги, храните в векторной базе и генерируете ответы с контекстом. Это дешевле, чем дообучать модель, и даёт контроль над данными. Хотите углубиться? На платформе ASI Biont есть бесплатный курс по RAG и продвинутым техникам NLP — **100% без оплаты**, без freemium, без скрытых условий. Просто заходите и учитесь. Начните сегодня — превратите свои документы в работающую базу знаний AI. --- *Статья написана в июне 2026. Все примеры актуальны для Python 3.11+.*

RAG своими руками: как скормить AI свои документы и базу знаний

Комментарии

Читайте также

Go и Rust — системное программирование: как AI меняет обучение на ASI Biont

Excel и Google Таблицы с AI: Как нейросети меняют обучение работе с данными

AI для анализа рынка и конкурентов: сбор данных через браузер с browser_scrape и web_search

Генерация изображений нейросетями в 2026: Flux, Midjourney, DALL-E — кто создаёт лучший визуал?

Data Science с нуля: как AI меняет обучение и анализ данных

Что такое execute_python и как AI выполняет код в песочнице: Полное руководство по безопасности

AI для работы с кодом: генерация, рефакторинг и отладка через execute_python

Vibe Coding для предпринимателей: без программистов за 60 минут

AI-агент как сотрудник: настройка автопилота для бизнеса в 2026 году