OpenExp набирає 98.6% на LongMemEval — Як ми побудували AI-пам'ять, яка справді працює

Проблема: AI-агенти не мають довгострокової пам'яті

Ваш AI-агент блискуче обробляє розмову з клієнтом сьогодні. Завтра він поняття не має, що ця розмова взагалі відбувалася. Він не пам'ятає, що клієнт надає перевагу email перед Slack, що останню пропозицію відхилили через ціну або що ви вже пробували підхід A і він не спрацював.

Це не проблема моделі — це проблема пам'яті. А більшість рішень або коштують цілий статок у API-викликах, або просто недостатньо добре працюють, щоб їм довіряти.

Ми побудували OpenExp, щоб вирішити це: повністю локальний шар пам'яті для AI-агентів, який навчається на основі результатів. Але "працює в продакшні" недостатньо — нам потрібні були числа. Тому ми пропустили його через стандартний бенчмарк.

Що таке LongMemEval?

LongMemEval — це галузевий стандарт бенчмарку для систем пам'яті AI-агентів, опублікований на ICLR 2025. Він перевіряє одне: чи може ваша система пам'яті знайти потрібну інформацію серед багатьох розмов?

Налаштування просте, але вимогливе: 500 питань, кожне з ~48 сесіями розмов як "стіг сіна". Система повинна знайти голку — сесію, яка містить відповідь. Шість типів питань перевіряють різні здатності пам'яті:

Як ми тестували

Для кожного з 500 питань наш бенчмарк:

1. Будує корпус з ~48 сесій-стогів сіна
2. Векторизує все за допомогою BAAI/bge-small-en-v1.5 (384 виміри — та сама модель, яку OpenExp використовує в продакшні)
3. Індексує в Qdrant (in-memory, свіжа колекція на кожне питання)
4. Шукає найбільш релевантні сесії
5. Перевіряє, чи правильна сесія з'являється в топ-k результатах

Це retrieval-only оцінювання — жоден LLM не генерує відповідь. Ми вимірюємо, чи знаходить система пам'яті потрібний документ, і все.

Ми тестували три стратегії скорингу, щоб зрозуміти, який вклад вносить кожен компонент:

• Raw — чиста векторна схожість (косинусна відстань між ембедингами)
• Hybrid — векторна схожість (90%) + BM25 ключові слова (10%)
• Full — вектор (75%) + BM25 (10%) + boost за свіжістю (15%)

Результати

Загальна продуктивність на 500 питаннях

Recall@k = "чи з'явилася правильна сесія в топ-k результатах?" При Recall@10 = 98.6% лише 7 з 500 питань не знайшли відповіді. NDCG@10 вимірює, наскільки високо в списку знаходиться правильний результат — 92.5% означає, що він майже завжди знаходиться біля вершини.

Розбивка за типом питання (Recall@10)

Що вносить кожен компонент

BM25 keyword matching: найбільший виграш

Додавання лише 10% ваги BM25 до vector search покращило Recall@1 на 5 відсоткових пунктів і NDCG на 3.1%. Чому? Векторні ембединги розуміють, що "книга" і "роман" пов'язані — але вони також можуть плутати будь-яку розмову про каву з тією конкретною, де ви сказали, що надаєте перевагу еспресо. BM25 вловлює точні збіги ключових слів, які ембединги пропускають.

Найбільше покращення: питання про вподобання стрибнули з 90.0% до 96.7%. Це саме той тип, де точність ключових слів найважливіша.

Свіжість: важлива в продакшні, але не в бенчмарках

Додавання скорингу за свіжістю майже не змінило загальні числа, але покращило часове міркування на 0.8%. Це логічно — LongMemEval рівномірно розподіляє питання в часі. У реальному використанні люди набагато частіше запитують про нещодавні події, тому свіжість дає більше цінності, ніж показує цей бенчмарк.

Як OpenExp порівнюється з іншими системами пам'яті

Пряме порівняння (retrieval-only, однакова методологія)

OpenExp відповідає raw retrieval MemPalace (96.4% проти 96.6% — в межах шуму). Але ось цікава частина: структурована архітектура "палацу" MemPalace (режим AAAK), яка є їхньою головною фішкою, падає до 84.2%. Їхня додана складність шкодить, а не допомагає.

Ширший ландшафт (end-to-end QA — інша методологія)

Більшість інших систем звітують про end-to-end точність (retrieval + генерація відповіді LLM), що є іншою метрикою. Для контексту:

Ці числа не можна прямо порівнювати з retrieval recall — це як порівнювати потужність двигуна з часом кола. Але при 98.6% точності retrieval LLM потрібно лише прочитати правильний контекст і згенерувати правильну відповідь, що є простою частиною. Ми плануємо додати end-to-end оцінювання в майбутньому оновленні.

Що робить OpenExp особливим

Більшість систем пам'яті зупиняються на retrieval. OpenExp додає шар, якого немає в жодній із систем вище: Q-learning.

Кожна пам'ять в OpenExp має Q-value (від 0 до 1), яке змінюється на основі результатів. Коли пам'ять сприяє успішному завданню — закритій угоді, злитому PR, вирішеному тікету — її Q-value зростає. Пам'яті, що призводять до глухих кутів, з часом знижуються.

Це означає, що OpenExp не просто пам'ятає — він вчиться, що варто запам'ятовувати. Після місяця використання пам'яті, які насправді призвели до результатів, з'являються першими. Цей Q-learning сигнал не включено у бенчмарк вище — це додатковий бонус поверх 98.6% retrieval score.

Відтворіть ці результати

Все є open source. Запустіть бенчмарк самостійно:

git clone https://github.com/anthroos/openexp.git
cd openexp && pip install -e .

# Download dataset (264 MB)
mkdir -p benchmarks/data
curl -L -o benchmarks/data/longmemeval_s_cleaned.json \
  "https://huggingface.co/datasets/xiaowu0162/longmemeval-cleaned/resolve/main/longmemeval_s_cleaned.json"

# Run (~60 min each on Apple Silicon)
python benchmarks/longmemeval_bench.py benchmarks/data/longmemeval_s_cleaned.json --mode raw
python benchmarks/longmemeval_bench.py benchmarks/data/longmemeval_s_cleaned.json --mode hybrid
python benchmarks/longmemeval_bench.py benchmarks/data/longmemeval_s_cleaned.json --mode full

Ключові висновки

1. Гібридний пошук — це золота середина. Векторні ембединги + 10% BM25 keyword matching дають найкращий баланс. Це продакшн-дефолт OpenExp.
2. Простий скоринг перемагає складну архітектуру. Структура "палацу" MemPalace деградує з 96.6% до 84.2%. Наш простий hybrid досягає 98.6% Recall@10. Не надмірно ускладнюйте.
3. Нуль LLM-викликів, повністю локально. Без витрат на API, без затримок, без витоку даних з вашого комп'ютера. Кожен пошук завершується менш ніж за 100 мс у продакшні.
4. Q-learning — це наступний рубіж. Бенчмарк не відображає унікальну силу OpenExp — пам'яті, що призвели до реальних результатів, з часом ранжуються вище. Це різниця між пошуковою системою і системою, що навчається.