diff --git a/content/blog/memory-for-agents-benchmark/index.es.md b/content/blog/memory-for-agents-benchmark/index.es.md index 74667161..b169d007 100644 --- a/content/blog/memory-for-agents-benchmark/index.es.md +++ b/content/blog/memory-for-agents-benchmark/index.es.md @@ -7,7 +7,20 @@ author: viacheslav-ptsarev draft: false --- -A principios de noviembre estuve corriendo benchmarks de memoria para agentes. Hago WireCat como el contexto local de una persona para cualquier agente (chats, correo, notas, reuniones), y quería ver con qué responde mejor un agente: con nuestro Memo, con un motor de memoria de terceros como Supermemory o Mem0, o sin memoria, con los registros simplemente como archivos en una carpeta. +Últimamente han aparecido un montón de memorias para agentes de IA, y casi todas prometen que tu agente por fin dejará de olvidarse de las cosas. Necesitaba saber si mi idea de la memoria iba bien encaminada. Tomé las soluciones más populares, se las di a los mismos agentes e hice las mismas preguntas. Miré qué responde el agente, qué registro cita y cuánto cuesta. + +Quién participó: + +- [Mem0](https://mem0.ai) - un servicio en la nube, un modelo saca hechos de tus mensajes y guarda eso en lugar de los mensajes. +- [Supermemory](https://supermemory.ai) - también en la nube, corta los documentos en trozos para buscar y encima un modelo arma un grafo de hechos. Busca en los dos. +- [Honcho](https://honcho.dev) - open source, en segundo plano saca conclusiones sobre cada persona de la conversación y guarda esas conclusiones. +- [Hindsight](https://github.com/vectorize-io/hindsight) - open source, un modelo saca hechos, personas y cómo se relacionan, y busca a la vez por significado, por palabras, por el grafo y por tiempo. +- WireCat Memo - el nuestro, funciona en local, guarda los registros tal cual y busca por palabras y por significado. +- Y una carpeta con archivos normales, donde el agente busca solo con comandos de terminal. + +Los agentes son los asistentes [OpenClaw](https://openclaw.ai) y [Hermes](https://github.com/NousResearch/hermes-agent) porque son lo primero que alguien instala cuando quiere un asistente personal de IA, así que es justo ahí donde hace falta memoria. Además, Hermes trae de serie plugins para los cuatro motores, así que cada uno está conectado a su manera, no con mis apaños. + +Eso es lo que estuve corriendo a principios de noviembre. Hago WireCat como el contexto local de una persona para cualquier agente (chats, correo, notas, reuniones), así que para mí no es una pregunta académica - si nuestro Memo tiene sentido o al agente le basta con una carpeta de archivos. Resulta que los archivos normales no lo hicieron peor. En la versión más difícil de mi conjunto, OpenClaw con Memo respondió 50 preguntas de 50 y citó el registro correcto en 46, y con archivos también 50 de 50 y 47 citas. Con Memo salió un poco más barato ($1.92 frente a $2.19), pero es 1 ejecución. En cambio, los motores que guardan un resumen hecho por un modelo en lugar de los registros pierden o los datos o la fuente. diff --git a/content/blog/memory-for-agents-benchmark/index.md b/content/blog/memory-for-agents-benchmark/index.md index 385f26c7..f9b4b9f6 100644 --- a/content/blog/memory-for-agents-benchmark/index.md +++ b/content/blog/memory-for-agents-benchmark/index.md @@ -7,7 +7,20 @@ author: viacheslav-ptsarev draft: false --- -In early November I was running memory benchmarks for agents. I'm building WireCat as local context about a person for any agent (chats, mail, notes, meetings), and I wanted to see what helps an agent answer better - our Memo, a third-party memory engine like Supermemory or Mem0, or no memory at all, with the records just sitting as files in a folder. +A lot of memory tools for AI agents have shown up lately, and almost every one promises your agent will finally stop forgetting things. I needed to know how right my own idea of memory was. So I took the most popular solutions, gave them to the same agents and asked the same questions. I looked at what the agent answers, which record it cites and how much it costs. + +Here's who took part: + +- [Mem0](https://mem0.ai) - a cloud service, a model pulls facts out of your messages and keeps those instead of the messages. +- [Supermemory](https://supermemory.ai) - also cloud, it chunks documents for search and a model builds a graph of facts on top. Search goes over both. +- [Honcho](https://honcho.dev) - open source, it draws conclusions about each person in the conversation in the background and stores those. +- [Hindsight](https://github.com/vectorize-io/hindsight) - open source, a model pulls out facts, people and how they connect, and search runs by meaning, by keywords, over the graph and by time all at once. +- WireCat Memo - ours, runs locally, keeps the records as they are and searches by keywords and by meaning. +- And a plain folder of files that the agent searches on its own with ordinary shell commands. + +The agents are the assistants [OpenClaw](https://openclaw.ai) and [Hermes](https://github.com/NousResearch/hermes-agent) because they're what people install first when they want a personal AI assistant, so that's exactly where memory matters. Plus Hermes ships plugins for all four engines out of the box, so each one is connected its own native way, not through my duct tape. + +That's what I was running in early November. I'm building WireCat as local context about a person for any agent (chats, mail, notes, meetings), so for me this isn't an academic question - does our Memo make sense at all, or is a folder of files enough for an agent. Turns out plain files were no worse. On the hardest version of my set OpenClaw with Memo answered 50 questions out of 50 and cited the right record in 46, and with files it was also 50 out of 50 with 47 citations. Memo came out a bit cheaper ($1.92 vs $2.19), but that's 1 run. The engines that store a model's summary instead of the records themselves lose either the facts or the source. diff --git a/content/blog/memory-for-agents-benchmark/index.ru.md b/content/blog/memory-for-agents-benchmark/index.ru.md index f0d67d91..46d82f93 100644 --- a/content/blog/memory-for-agents-benchmark/index.ru.md +++ b/content/blog/memory-for-agents-benchmark/index.ru.md @@ -7,7 +7,20 @@ author: viacheslav-ptsarev draft: false --- -В начале ноября я гонял бенчмарки памяти для агентов. WireCat я делаю как локальный контекст человека для любого агента (чаты, почта, заметки, встречи), и хотел понять, с чем агент отвечает лучше - с нашим Memo, со сторонним движком памяти типа Supermemory или Mem0, или вообще без памяти, когда записи просто лежат файлами в папке. +Памяти для ИИ-агентов сейчас появилось много, и почти каждая обещает, что агент наконец перестанет все забывать. Мне надо было понять, насколько мое видение памяти верно. Я взял самые популярные решения, дал их одинаковым агентам и задал одни и те же вопросы. Смотрел, что агент отвечает, на какую запись ссылается и сколько это стоит. + +Кто участвовал: + +- [Mem0](https://mem0.ai) - облачный сервис, модель вытаскивает из сообщений факты и хранит их вместо самих сообщений. +- [Supermemory](https://supermemory.ai) - тоже облако, режет документы на куски для поиска, а сверху модель строит граф фактов. Ищет и по кускам, и по графу. +- [Honcho](https://honcho.dev) - open source, в фоне делает выводы о каждом участнике разговора и хранит уже их. +- [Hindsight](https://github.com/vectorize-io/hindsight) - open source, модель достает факты, людей и связи между ними, а ищет он сразу по смыслу, по словам, по графу и по времени. +- WireCat Memo - наш, работает локально, хранит сами записи как есть и ищет по словам и по смыслу. +- И просто папка с файлами, по которой агент ищет сам обычными командами. + +Агенты - ассистенты [OpenClaw](https://openclaw.ai) и [Hermes](https://github.com/NousResearch/hermes-agent), потому что их человек ставит первыми, когда хочет личного ИИ-ассистента, т.е. память нужна как раз там. Плюс у Hermes из коробки есть плагины для всех четырех движков, так что они подключены своим родным способом, а не моими костылями. + +В начале ноября я все это и гонял. WireCat я делаю как локальный контекст человека для любого агента (чаты, почта, заметки, встречи), так что вопрос для меня не академический - есть ли смысл в нашем Memo, или агенту хватит папки с файлами. По факту обычные файлы оказались не хуже. На самой сложной версии моего набора OpenClaw с Memo ответил на 50 вопросов из 50 и в 46 сослался на правильную запись, а с файлами тоже 50 из 50 и 47 ссылок. С Memo вышло немного дешевле ($1.92 против $2.19), но это 1 прогон. А вот движки, которые хранят пересказ модели вместо самих записей, теряют либо факты, либо источник.