Двоступеневий пайплайн: витяг і перевірка

Найдорожчі помилки LLM — не в цифрах, а в переконливих вигадках. Схема, яка ловить їх: дешева модель витягує, дорога перевіряє, і жоден факт без цитати.

Якщо твоїм агентам потрібна точність, а не краса — не давай одну модель робити все. Найстійкіша схема для роботи з документами коштує менше за одну «розумну» модель і ловить саме ті помилки, яких не видно оком.

Чому один прохід не працює

Витяг даних і перевірка — різні задачі з різними вимогами. Витягу потрібна швидкість і дешевина: тисячі токенів документа на вході, структурований результат на виході. Перевірці потрібна обережність: співставити кожне твердження з джерелом і має сміливість сказати «цього немає». Модель, оптимізована під перше, майже завжди погана у другому — вона «допомагає» домальовувати те, чого немає.

Схема пайплайна

  • Крок 1 — витяг. Дешева швидка модель (flash-класу), нульова температура, жорсткий формат відповіді. Завдання: сторони, суми, дати, умови — і обовʼязково координати джерела (сторінка/абзац) для кожного факту.
  • Крок 2 — перевірка. Сильна модель отримує тільки витягнутий список + оригінальний документ. Її єдине завдання: для кожного факту відповісти «підтверджено / не знайдено / суперечить».
  • Крок 3 — фільтр. У результат проходять лише факти зі статусом «підтверджено». Решта — у чергу на перегляд людиною.

Правило цитування

Єдине правило, яке варте всього пайплайна: факт без цитати не існує. Не «модель впевнена», не «здається правдою» — а точне місце в документі. Це перетворює галюцинації з невидимої проблеми на автоматично відловлювану: вигаданий факт просто не має цитати, яку можна знайти.

Модель не помиляється голосно. Вона помиляється переконливо — тому другий прохід потрібен завжди.

Як зібрати за вечір

Мінімум: два HTTP-виклики з OpenRouter (дешева модель на кроці 1, сильна на кроці 2), JSON-схема для відповіді й один скрипт-склейка. Підключи structured outputs — і пайплайн живий. Рахуй токени українською окремо: вони дорожчі за англійські через токенізацію, і на обсязі це видно в бюджеті.

  • Почни з одного типу документів — не узагальнюй з першого дня.
  • Міряй частоту «не знайдено» на кроці 2: це головна метрика здоровʼя схеми.
  • Кожна зміна промпта — новий прогін на тому самому наборі документів.
Матеріал із рубрики «Практика»ПрактикаПромпт-інжинірингАгенти
Поділитися статтею
TelegramXLinkedIn

Читати далі