From d90540d35322c11d2913d6c71b07c5bfde61f99e Mon Sep 17 00:00:00 2001 From: leemour Date: Thu, 12 Nov 2026 17:04:38 +0100 Subject: [PATCH 1/4] docs(blog): open the memory benchmarks post with what it compares Readers met the engines only through the story. The post now starts with one line on why, then a short list of the memory engines and the two agents, each linked to its official site or repository, described from their own docs. The story paragraph follows, trimmed where it repeated the list. Co-Authored-By: Claude Opus 5.5 --- .../blog/memory-for-agents-benchmark/index.es.md | 15 ++++++++++++++- content/blog/memory-for-agents-benchmark/index.md | 15 ++++++++++++++- .../blog/memory-for-agents-benchmark/index.ru.md | 15 ++++++++++++++- 3 files changed, 42 insertions(+), 3 deletions(-) diff --git a/content/blog/memory-for-agents-benchmark/index.es.md b/content/blog/memory-for-agents-benchmark/index.es.md index 74667161..4ba2332d 100644 --- a/content/blog/memory-for-agents-benchmark/index.es.md +++ b/content/blog/memory-for-agents-benchmark/index.es.md @@ -7,7 +7,20 @@ author: viacheslav-ptsarev draft: false --- -A principios de noviembre estuve corriendo benchmarks de memoria para agentes. Hago WireCat como el contexto local de una persona para cualquier agente (chats, correo, notas, reuniones), y quería ver con qué responde mejor un agente: con nuestro Memo, con un motor de memoria de terceros como Supermemory o Mem0, o sin memoria, con los registros simplemente como archivos en una carpeta. +Ahora hay un montón de memorias para agentes de IA, y casi todas prometen que tu agente por fin dejará de olvidarse de las cosas. Tomé algunas populares, puse el mismo agente encima de cada una e hice las mismas preguntas. Miré qué responde el agente, qué registro cita y cuánto cuesta. + +Quién participó: + +- [Mem0](https://mem0.ai) - un servicio en la nube, un modelo saca hechos de tus mensajes y guarda eso en lugar de los mensajes. +- [Supermemory](https://supermemory.ai) - también en la nube, corta los documentos en trozos para buscar y encima un modelo arma un grafo de hechos. Busca en los dos. +- [Honcho](https://honcho.dev) - open source, en segundo plano saca conclusiones sobre cada persona de la conversación y guarda esas conclusiones. +- [Hindsight](https://github.com/vectorize-io/hindsight) - open source, un modelo saca hechos, personas y cómo se relacionan, y busca a la vez por significado, por palabras, por el grafo y por tiempo. +- WireCat Memo - el nuestro, funciona en local, guarda los registros tal cual y busca por palabras y por significado. +- Y una carpeta con archivos normales, donde el agente busca solo con comandos de terminal. + +Dos agentes, los dos de código abierto - [OpenClaw](https://openclaw.ai) y [Hermes](https://github.com/NousResearch/hermes-agent) de Nous Research. + +Eso es lo que estuve corriendo a principios de noviembre. Hago WireCat como el contexto local de una persona para cualquier agente (chats, correo, notas, reuniones), así que para mí no es una pregunta académica - si nuestro Memo tiene sentido o al agente le basta con una carpeta de archivos. Resulta que los archivos normales no lo hicieron peor. En la versión más difícil de mi conjunto, OpenClaw con Memo respondió 50 preguntas de 50 y citó el registro correcto en 46, y con archivos también 50 de 50 y 47 citas. Con Memo salió un poco más barato ($1.92 frente a $2.19), pero es 1 ejecución. En cambio, los motores que guardan un resumen hecho por un modelo en lugar de los registros pierden o los datos o la fuente. diff --git a/content/blog/memory-for-agents-benchmark/index.md b/content/blog/memory-for-agents-benchmark/index.md index 385f26c7..1ab6b646 100644 --- a/content/blog/memory-for-agents-benchmark/index.md +++ b/content/blog/memory-for-agents-benchmark/index.md @@ -7,7 +7,20 @@ author: viacheslav-ptsarev draft: false --- -In early November I was running memory benchmarks for agents. I'm building WireCat as local context about a person for any agent (chats, mail, notes, meetings), and I wanted to see what helps an agent answer better - our Memo, a third-party memory engine like Supermemory or Mem0, or no memory at all, with the records just sitting as files in a folder. +There are a lot of memory tools for AI agents now, and almost every one promises your agent will finally stop forgetting things. I took a few popular ones, put the same agent on top of each and asked the same questions. I looked at what the agent answers, which record it cites and how much it costs. + +Here's who took part: + +- [Mem0](https://mem0.ai) - a cloud service, a model pulls facts out of your messages and keeps those instead of the messages. +- [Supermemory](https://supermemory.ai) - also cloud, it chunks documents for search and a model builds a graph of facts on top. Search goes over both. +- [Honcho](https://honcho.dev) - open source, it draws conclusions about each person in the conversation in the background and stores those. +- [Hindsight](https://github.com/vectorize-io/hindsight) - open source, a model pulls out facts, people and how they connect, and search runs by meaning, by keywords, over the graph and by time all at once. +- WireCat Memo - ours, runs locally, keeps the records as they are and searches by keywords and by meaning. +- And a plain folder of files that the agent searches on its own with ordinary shell commands. + +Two agents, both open source - [OpenClaw](https://openclaw.ai) and [Hermes](https://github.com/NousResearch/hermes-agent) from Nous Research. + +That's what I was running in early November. I'm building WireCat as local context about a person for any agent (chats, mail, notes, meetings), so for me this isn't an academic question - does our Memo make sense at all, or is a folder of files enough for an agent. Turns out plain files were no worse. On the hardest version of my set OpenClaw with Memo answered 50 questions out of 50 and cited the right record in 46, and with files it was also 50 out of 50 with 47 citations. Memo came out a bit cheaper ($1.92 vs $2.19), but that's 1 run. The engines that store a model's summary instead of the records themselves lose either the facts or the source. diff --git a/content/blog/memory-for-agents-benchmark/index.ru.md b/content/blog/memory-for-agents-benchmark/index.ru.md index f0d67d91..ed62fa05 100644 --- a/content/blog/memory-for-agents-benchmark/index.ru.md +++ b/content/blog/memory-for-agents-benchmark/index.ru.md @@ -7,7 +7,20 @@ author: viacheslav-ptsarev draft: false --- -В начале ноября я гонял бенчмарки памяти для агентов. WireCat я делаю как локальный контекст человека для любого агента (чаты, почта, заметки, встречи), и хотел понять, с чем агент отвечает лучше - с нашим Memo, со сторонним движком памяти типа Supermemory или Mem0, или вообще без памяти, когда записи просто лежат файлами в папке. +Памяти для ИИ-агентов сейчас развелось много, и почти каждая обещает, что агент наконец перестанет все забывать. Я взял несколько популярных, посадил на них одного и того же агента и задал одни и те же вопросы. Смотрел, что агент отвечает, на какую запись ссылается и сколько это стоит. + +Кто участвовал: + +- [Mem0](https://mem0.ai) - облачный сервис, модель вытаскивает из сообщений факты и хранит их вместо самих сообщений. +- [Supermemory](https://supermemory.ai) - тоже облако, режет документы на куски для поиска, а сверху модель строит граф фактов. Ищет и по кускам, и по графу. +- [Honcho](https://honcho.dev) - open source, в фоне делает выводы о каждом участнике разговора и хранит уже их. +- [Hindsight](https://github.com/vectorize-io/hindsight) - open source, модель достает факты, людей и связи между ними, а ищет он сразу по смыслу, по словам, по графу и по времени. +- WireCat Memo - наш, работает локально, хранит сами записи как есть и ищет по словам и по смыслу. +- И просто папка с файлами, по которой агент ищет сам обычными командами. + +Агентов два, оба с открытым кодом - [OpenClaw](https://openclaw.ai) и [Hermes](https://github.com/NousResearch/hermes-agent) от Nous Research. + +В начале ноября я все это и гонял. WireCat я делаю как локальный контекст человека для любого агента (чаты, почта, заметки, встречи), так что вопрос для меня не академический - есть ли смысл в нашем Memo, или агенту хватит папки с файлами. По факту обычные файлы оказались не хуже. На самой сложной версии моего набора OpenClaw с Memo ответил на 50 вопросов из 50 и в 46 сослался на правильную запись, а с файлами тоже 50 из 50 и 47 ссылок. С Memo вышло немного дешевле ($1.92 против $2.19), но это 1 прогон. А вот движки, которые хранят пересказ модели вместо самих записей, теряют либо факты, либо источник. From da6fac14175fa7cdb8ef4fa3c07f9afac9bdaaad Mon Sep 17 00:00:00 2001 From: leemour Date: Thu, 12 Nov 2026 17:10:35 +0100 Subject: [PATCH 2/4] docs(blog): say why the memory post tests OpenClaw and Hermes Co-Authored-By: Claude Opus 5.5 --- content/blog/memory-for-agents-benchmark/index.es.md | 4 ++-- content/blog/memory-for-agents-benchmark/index.md | 4 ++-- content/blog/memory-for-agents-benchmark/index.ru.md | 4 ++-- 3 files changed, 6 insertions(+), 6 deletions(-) diff --git a/content/blog/memory-for-agents-benchmark/index.es.md b/content/blog/memory-for-agents-benchmark/index.es.md index 4ba2332d..a5520dca 100644 --- a/content/blog/memory-for-agents-benchmark/index.es.md +++ b/content/blog/memory-for-agents-benchmark/index.es.md @@ -7,7 +7,7 @@ author: viacheslav-ptsarev draft: false --- -Ahora hay un montón de memorias para agentes de IA, y casi todas prometen que tu agente por fin dejará de olvidarse de las cosas. Tomé algunas populares, puse el mismo agente encima de cada una e hice las mismas preguntas. Miré qué responde el agente, qué registro cita y cuánto cuesta. +Últimamente han aparecido un montón de memorias para agentes de IA, y casi todas prometen que tu agente por fin dejará de olvidarse de las cosas. Necesitaba saber si mi idea de la memoria iba bien encaminada. Tomé las más populares, se las di a los mismos agentes e hice las mismas preguntas. Miré qué responde el agente, qué registro cita y cuánto cuesta. Quién participó: @@ -18,7 +18,7 @@ Quién participó: - WireCat Memo - el nuestro, funciona en local, guarda los registros tal cual y busca por palabras y por significado. - Y una carpeta con archivos normales, donde el agente busca solo con comandos de terminal. -Dos agentes, los dos de código abierto - [OpenClaw](https://openclaw.ai) y [Hermes](https://github.com/NousResearch/hermes-agent) de Nous Research. +Los agentes son los asistentes [OpenClaw](https://openclaw.ai) y [Hermes](https://github.com/NousResearch/hermes-agent) de Nous Research, los dos de código abierto. Son lo primero que alguien instala cuando quiere un asistente personal de IA, así que es justo ahí donde hace falta memoria. Además, Hermes trae de serie plugins para los cuatro motores, así que cada uno está conectado a su manera, no con mis apaños. Eso es lo que estuve corriendo a principios de noviembre. Hago WireCat como el contexto local de una persona para cualquier agente (chats, correo, notas, reuniones), así que para mí no es una pregunta académica - si nuestro Memo tiene sentido o al agente le basta con una carpeta de archivos. diff --git a/content/blog/memory-for-agents-benchmark/index.md b/content/blog/memory-for-agents-benchmark/index.md index 1ab6b646..2deda2c4 100644 --- a/content/blog/memory-for-agents-benchmark/index.md +++ b/content/blog/memory-for-agents-benchmark/index.md @@ -7,7 +7,7 @@ author: viacheslav-ptsarev draft: false --- -There are a lot of memory tools for AI agents now, and almost every one promises your agent will finally stop forgetting things. I took a few popular ones, put the same agent on top of each and asked the same questions. I looked at what the agent answers, which record it cites and how much it costs. +A lot of memory tools for AI agents have shown up lately, and almost every one promises your agent will finally stop forgetting things. I needed to know how right my own idea of memory was. So I took the most popular ones, gave them to the same agents and asked the same questions. I looked at what the agent answers, which record it cites and how much it costs. Here's who took part: @@ -18,7 +18,7 @@ Here's who took part: - WireCat Memo - ours, runs locally, keeps the records as they are and searches by keywords and by meaning. - And a plain folder of files that the agent searches on its own with ordinary shell commands. -Two agents, both open source - [OpenClaw](https://openclaw.ai) and [Hermes](https://github.com/NousResearch/hermes-agent) from Nous Research. +The agents are the assistants [OpenClaw](https://openclaw.ai) and [Hermes](https://github.com/NousResearch/hermes-agent) from Nous Research, both open source. They're what people install first when they want a personal AI assistant, so that's exactly where memory matters. Plus Hermes ships plugins for all four engines out of the box, so each one is connected its own native way, not through my duct tape. That's what I was running in early November. I'm building WireCat as local context about a person for any agent (chats, mail, notes, meetings), so for me this isn't an academic question - does our Memo make sense at all, or is a folder of files enough for an agent. diff --git a/content/blog/memory-for-agents-benchmark/index.ru.md b/content/blog/memory-for-agents-benchmark/index.ru.md index ed62fa05..aecb9fd2 100644 --- a/content/blog/memory-for-agents-benchmark/index.ru.md +++ b/content/blog/memory-for-agents-benchmark/index.ru.md @@ -7,7 +7,7 @@ author: viacheslav-ptsarev draft: false --- -Памяти для ИИ-агентов сейчас развелось много, и почти каждая обещает, что агент наконец перестанет все забывать. Я взял несколько популярных, посадил на них одного и того же агента и задал одни и те же вопросы. Смотрел, что агент отвечает, на какую запись ссылается и сколько это стоит. +Памяти для ИИ-агентов сейчас появилось много, и почти каждая обещает, что агент наконец перестанет все забывать. Мне надо было понять, насколько мое видение памяти верно. Я взял самые популярные, дал их одинаковым агентам и задал одни и те же вопросы. Смотрел, что агент отвечает, на какую запись ссылается и сколько это стоит. Кто участвовал: @@ -18,7 +18,7 @@ draft: false - WireCat Memo - наш, работает локально, хранит сами записи как есть и ищет по словам и по смыслу. - И просто папка с файлами, по которой агент ищет сам обычными командами. -Агентов два, оба с открытым кодом - [OpenClaw](https://openclaw.ai) и [Hermes](https://github.com/NousResearch/hermes-agent) от Nous Research. +Агенты - ассистенты [OpenClaw](https://openclaw.ai) и [Hermes](https://github.com/NousResearch/hermes-agent) от Nous Research, оба с открытым кодом. Их человек ставит первыми, когда хочет личного ИИ-ассистента, т.е. память нужна как раз там. Плюс у Hermes из коробки есть плагины для всех четырех движков, так что они подключены своим родным способом, а не моими костылями. В начале ноября я все это и гонял. WireCat я делаю как локальный контекст человека для любого агента (чаты, почта, заметки, встречи), так что вопрос для меня не академический - есть ли смысл в нашем Memo, или агенту хватит папки с файлами. From 6b6381978135820ec1739ae815ae1af6d7c08881 Mon Sep 17 00:00:00 2001 From: leemour Date: Thu, 12 Nov 2026 17:15:08 +0100 Subject: [PATCH 3/4] docs(blog): agents line gives the reason first Co-Authored-By: Claude Opus 5.5 --- content/blog/memory-for-agents-benchmark/index.es.md | 4 ++-- content/blog/memory-for-agents-benchmark/index.md | 4 ++-- content/blog/memory-for-agents-benchmark/index.ru.md | 4 ++-- 3 files changed, 6 insertions(+), 6 deletions(-) diff --git a/content/blog/memory-for-agents-benchmark/index.es.md b/content/blog/memory-for-agents-benchmark/index.es.md index a5520dca..b169d007 100644 --- a/content/blog/memory-for-agents-benchmark/index.es.md +++ b/content/blog/memory-for-agents-benchmark/index.es.md @@ -7,7 +7,7 @@ author: viacheslav-ptsarev draft: false --- -Últimamente han aparecido un montón de memorias para agentes de IA, y casi todas prometen que tu agente por fin dejará de olvidarse de las cosas. Necesitaba saber si mi idea de la memoria iba bien encaminada. Tomé las más populares, se las di a los mismos agentes e hice las mismas preguntas. Miré qué responde el agente, qué registro cita y cuánto cuesta. +Últimamente han aparecido un montón de memorias para agentes de IA, y casi todas prometen que tu agente por fin dejará de olvidarse de las cosas. Necesitaba saber si mi idea de la memoria iba bien encaminada. Tomé las soluciones más populares, se las di a los mismos agentes e hice las mismas preguntas. Miré qué responde el agente, qué registro cita y cuánto cuesta. Quién participó: @@ -18,7 +18,7 @@ Quién participó: - WireCat Memo - el nuestro, funciona en local, guarda los registros tal cual y busca por palabras y por significado. - Y una carpeta con archivos normales, donde el agente busca solo con comandos de terminal. -Los agentes son los asistentes [OpenClaw](https://openclaw.ai) y [Hermes](https://github.com/NousResearch/hermes-agent) de Nous Research, los dos de código abierto. Son lo primero que alguien instala cuando quiere un asistente personal de IA, así que es justo ahí donde hace falta memoria. Además, Hermes trae de serie plugins para los cuatro motores, así que cada uno está conectado a su manera, no con mis apaños. +Los agentes son los asistentes [OpenClaw](https://openclaw.ai) y [Hermes](https://github.com/NousResearch/hermes-agent) porque son lo primero que alguien instala cuando quiere un asistente personal de IA, así que es justo ahí donde hace falta memoria. Además, Hermes trae de serie plugins para los cuatro motores, así que cada uno está conectado a su manera, no con mis apaños. Eso es lo que estuve corriendo a principios de noviembre. Hago WireCat como el contexto local de una persona para cualquier agente (chats, correo, notas, reuniones), así que para mí no es una pregunta académica - si nuestro Memo tiene sentido o al agente le basta con una carpeta de archivos. diff --git a/content/blog/memory-for-agents-benchmark/index.md b/content/blog/memory-for-agents-benchmark/index.md index 2deda2c4..f9b4b9f6 100644 --- a/content/blog/memory-for-agents-benchmark/index.md +++ b/content/blog/memory-for-agents-benchmark/index.md @@ -7,7 +7,7 @@ author: viacheslav-ptsarev draft: false --- -A lot of memory tools for AI agents have shown up lately, and almost every one promises your agent will finally stop forgetting things. I needed to know how right my own idea of memory was. So I took the most popular ones, gave them to the same agents and asked the same questions. I looked at what the agent answers, which record it cites and how much it costs. +A lot of memory tools for AI agents have shown up lately, and almost every one promises your agent will finally stop forgetting things. I needed to know how right my own idea of memory was. So I took the most popular solutions, gave them to the same agents and asked the same questions. I looked at what the agent answers, which record it cites and how much it costs. Here's who took part: @@ -18,7 +18,7 @@ Here's who took part: - WireCat Memo - ours, runs locally, keeps the records as they are and searches by keywords and by meaning. - And a plain folder of files that the agent searches on its own with ordinary shell commands. -The agents are the assistants [OpenClaw](https://openclaw.ai) and [Hermes](https://github.com/NousResearch/hermes-agent) from Nous Research, both open source. They're what people install first when they want a personal AI assistant, so that's exactly where memory matters. Plus Hermes ships plugins for all four engines out of the box, so each one is connected its own native way, not through my duct tape. +The agents are the assistants [OpenClaw](https://openclaw.ai) and [Hermes](https://github.com/NousResearch/hermes-agent) because they're what people install first when they want a personal AI assistant, so that's exactly where memory matters. Plus Hermes ships plugins for all four engines out of the box, so each one is connected its own native way, not through my duct tape. That's what I was running in early November. I'm building WireCat as local context about a person for any agent (chats, mail, notes, meetings), so for me this isn't an academic question - does our Memo make sense at all, or is a folder of files enough for an agent. diff --git a/content/blog/memory-for-agents-benchmark/index.ru.md b/content/blog/memory-for-agents-benchmark/index.ru.md index aecb9fd2..2fef6beb 100644 --- a/content/blog/memory-for-agents-benchmark/index.ru.md +++ b/content/blog/memory-for-agents-benchmark/index.ru.md @@ -7,7 +7,7 @@ author: viacheslav-ptsarev draft: false --- -Памяти для ИИ-агентов сейчас появилось много, и почти каждая обещает, что агент наконец перестанет все забывать. Мне надо было понять, насколько мое видение памяти верно. Я взял самые популярные, дал их одинаковым агентам и задал одни и те же вопросы. Смотрел, что агент отвечает, на какую запись ссылается и сколько это стоит. +Памяти для ИИ-агентов сейчас появилось много, и почти каждая обещает, что агент наконец перестанет все забывать. Мне надо было понять, насколько мое видение памяти верно. Я взял самые популярные решения, дал их одинаковым агентам и задал одни и те же вопросы. Смотрел, что агент отвечает, на какую запись ссылается и сколько это стоит. Кто участвовал: @@ -18,7 +18,7 @@ draft: false - WireCat Memo - наш, работает локально, хранит сами записи как есть и ищет по словам и по смыслу. - И просто папка с файлами, по которой агент ищет сам обычными командами. -Агенты - ассистенты [OpenClaw](https://openclaw.ai) и [Hermes](https://github.com/NousResearch/hermes-agent) от Nous Research, оба с открытым кодом. Их человек ставит первыми, когда хочет личного ИИ-ассистента, т.е. память нужна как раз там. Плюс у Hermes из коробки есть плагины для всех четырех движков, так что они подключены своим родным способом, а не моими костылями. +Агенты - ассистенты [OpenClaw](https://openclaw.ai) и [Hermes](https://github.com/NousResearch/hermes-agent) потому что их человек ставит первыми, когда хочет личного ИИ-ассистента, т.е. память нужна как раз там. Плюс у Hermes из коробки есть плагины для всех четырех движков, так что они подключены своим родным способом, а не моими костылями. В начале ноября я все это и гонял. WireCat я делаю как локальный контекст человека для любого агента (чаты, почта, заметки, встречи), так что вопрос для меня не академический - есть ли смысл в нашем Memo, или агенту хватит папки с файлами. From d9d6494085932554fb17a7cbc67012d92fd24fec Mon Sep 17 00:00:00 2001 From: leemour Date: Thu, 12 Nov 2026 17:15:21 +0100 Subject: [PATCH 4/4] =?UTF-8?q?docs(blog):=20comma=20before=20=D0=BF=D0=BE?= =?UTF-8?q?=D1=82=D0=BE=D0=BC=D1=83=20=D1=87=D1=82=D0=BE?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Opus 5.5 --- content/blog/memory-for-agents-benchmark/index.ru.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/content/blog/memory-for-agents-benchmark/index.ru.md b/content/blog/memory-for-agents-benchmark/index.ru.md index 2fef6beb..46d82f93 100644 --- a/content/blog/memory-for-agents-benchmark/index.ru.md +++ b/content/blog/memory-for-agents-benchmark/index.ru.md @@ -18,7 +18,7 @@ draft: false - WireCat Memo - наш, работает локально, хранит сами записи как есть и ищет по словам и по смыслу. - И просто папка с файлами, по которой агент ищет сам обычными командами. -Агенты - ассистенты [OpenClaw](https://openclaw.ai) и [Hermes](https://github.com/NousResearch/hermes-agent) потому что их человек ставит первыми, когда хочет личного ИИ-ассистента, т.е. память нужна как раз там. Плюс у Hermes из коробки есть плагины для всех четырех движков, так что они подключены своим родным способом, а не моими костылями. +Агенты - ассистенты [OpenClaw](https://openclaw.ai) и [Hermes](https://github.com/NousResearch/hermes-agent), потому что их человек ставит первыми, когда хочет личного ИИ-ассистента, т.е. память нужна как раз там. Плюс у Hermes из коробки есть плагины для всех четырех движков, так что они подключены своим родным способом, а не моими костылями. В начале ноября я все это и гонял. WireCat я делаю как локальный контекст человека для любого агента (чаты, почта, заметки, встречи), так что вопрос для меня не академический - есть ли смысл в нашем Memo, или агенту хватит папки с файлами.