Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 4 additions & 0 deletions CHANGELOG.md
Original file line number Diff line number Diff line change
Expand Up @@ -73,6 +73,10 @@ Todos los cambios importantes de ModpackES quedan en este archivo. El formato si

### Corregido

- **Argumentos al revés:** si el modelo cambiaba de orden dos `%s` («%s was slain by %s» → «… mató a …»), el juego ponía los valores al revés sin aviso. Ahora, en los archivos de idioma se numeran (`%2$s mató a %1$s`), como hace el propio español de Minecraft; en scripts, misiones y libros el texto se rechaza y se reintenta.
- **Escapes `\uXXXX` en scripts de KubeJS y CraftTweaker:** el modelo veía «⟦0⟧00a7cWarning» y podía romper el escape. Ahora los de caracteres visibles se decodifican («§cWarning», «éxito») y los de control quedan protegidos enteros.
- **Códigos que el modelo inventa o desordena:** se rechaza la traducción que trae un código que no estaba («§a», «%s») o que deja el cierre de un formato (`§r`, `$()`, `</b>`) antes de su apertura. Con argumentos, un «%» suelto que escribió el modelo pasa a «%%».
- **Se colaba un ejemplo en cada pedido** aunque la app no manda ejemplos (`CANTIDAD_EN_LA_APP = 0`): el tope se miraba después de agregar el primero. Los ejemplos de otros textos empeoraban la calidad y, como salían de lo traducido en esa misma ejecución, el mismo pedido cambiaba según el orden en que terminaban los hilos.
- **El glosario no veía los términos pegados a un código de color** («Defeat the &4Arachnarch», «&eBronze Dungeons»): no se mandaban al modelo ni se exigían. Ahora los códigos se quitan antes de buscar términos, en el original y en la traducción.
- **El pack no se activaba en una instancia nueva.** Si en `options.txt` solo estaban los packs internos (`["vanilla"]` o `["vanilla","mod_resources"]`), se escribía `Traduccion_ES` sin el prefijo `file/` que usa Minecraft desde 1.13, y el juego lo ignoraba. Ahora el formato sale de la versión de la instancia (también en 1.12, que no usa el prefijo).
- **«Guardar el informe de lo que queda…» no guardaba nada**, ni desde el menú «Más» ni desde el botón del cuadro del informe.
Expand Down
3 changes: 3 additions & 0 deletions docs/calidad.md
Original file line number Diff line number Diff line change
Expand Up @@ -450,6 +450,9 @@ uv run python scripts/armar_banco_misiones.py --textos 400
uv run python scripts/descargar_lang.py # también baja los libros de Patchouli en inglés y español
uv run python scripts/armar_banco_libros.py --textos 150
uv run python scripts/medir_calidad.py --banco .descargas/banco/libros.json --vanilla .descargas/vanilla
# Grabar las respuestas (una vez, cuesta) y medir después un cambio del post-proceso contra ellas (gratis):
uv run python scripts/medir_calidad.py --banco .descargas/banco/ui_final.json --vanilla .descargas/vanilla --grabacion .descargas/banco/grabaciones/ui_final.sqlite --repeticiones 3
uv run python scripts/medir_calidad.py --banco .descargas/banco/ui_final.json --vanilla .descargas/vanilla --grabacion .descargas/banco/grabaciones/ui_final.sqlite --repeticiones 3 --solo-grabado
uv run python scripts/medir_calidad.py --sin-vecindad --banco .descargas/banco/misiones.json --salida build/base.json
uv run python scripts/medir_calidad.py --banco .descargas/banco/misiones.json --salida build/mejora.json
uv run python scripts/preferencia_pareada.py --a build/base.json --b build/mejora.json
Expand Down
12 changes: 11 additions & 1 deletion scripts/hoja_revision.py
Original file line number Diff line number Diff line change
Expand Up @@ -82,6 +82,7 @@ def _banco(args: argparse.Namespace) -> int:
button[data-v=L].on{background:var(--leve);color:#fff;border-color:var(--leve)}
button[data-v=G].on{background:var(--grave);color:#fff;border-color:var(--grave)}
input.nota{width:100%;margin-top:8px;padding:8px;border:1px solid var(--borde);border-radius:6px;background:var(--fondo);color:var(--texto);font:inherit}
.causa{margin-top:8px;font:inherit;padding:6px;border-radius:8px;border:1px solid var(--borde);background:var(--tarjeta);color:inherit}
.fin{display:flex;gap:8px;align-items:center;flex-wrap:wrap;margin:18px 0}
.fin .principal{background:var(--acento);color:#fff;border-color:var(--acento)}
</style></head><body><main>
Expand Down Expand Up @@ -109,7 +110,16 @@ def _banco(args: argparse.Namespace) -> int:
<div class="botones">
<button data-v="B">Bien</button><button data-v="L">Leve</button><button data-v="G">Grave</button>
</div>
<select class="causa" aria-label="Qué falla">
<option value="">¿Qué falla? (opcional)</option><option value="sentido">Cambia el sentido</option>
<option value="termino">Término o nombre de objeto</option><option value="nombre">Nombre propio (jefe, mod, lugar)</option>
<option value="forma">Mayúsculas o puntuación</option><option value="codigos">Códigos, colores o formato</option>
<option value="ingles">Quedó en inglés</option><option value="estilo">Estilo o redacción</option>
</select>
<input class="nota" placeholder="Nota (opcional): qué debería decir" aria-label="Nota">`;
const causa = t.querySelector(".causa");
causa.value = (estado[i] && estado[i].c) || "";
causa.addEventListener("change", () => { estado[i] = {...(estado[i] || {}), c: causa.value}; guardar(); });
const nota = t.querySelector(".nota");
nota.value = (estado[i] && estado[i].n) || "";
nota.addEventListener("input", () => { estado[i] = {...(estado[i] || {}), n: nota.value}; guardar(); });
Expand All @@ -134,7 +144,7 @@ def _banco(args: argparse.Namespace) -> int:
document.getElementById("copiar").addEventListener("click", async () => {
const filas = DATOS.map((d, i) => {
const e = estado[i] || {};
return `${i + 1}:${e.v || "-"}${e.n ? " (" + e.n.replace(/\\s+/g, " ") + ")" : ""}`;
return `${i + 1}:${e.v || "-"}${e.c ? "[" + e.c + "]" : ""}${e.n ?" (" + e.n.replace(/\\s+/g, " ") + ")" : ""}`;
});
const texto = "HOJA " + DATOS.length + "\\n" + filas.join("\\n");
try { await navigator.clipboard.writeText(texto); document.getElementById("aviso").textContent = "Copiado: pégalo en el chat."; }
Expand Down
74 changes: 53 additions & 21 deletions scripts/medir_calidad.py
Original file line number Diff line number Diff line change
Expand Up @@ -19,6 +19,7 @@
from traductor_es.motores.base import Motor
from traductor_es.motores.carga import Enfriador
from traductor_es.motores.gemini import MODELO_POR_DEFECTO
from traductor_es.motores.grabadora import MotorGrabado
from traductor_es.motores.simulador import Simulador
from traductor_es.nucleo.ejemplos import CANTIDAD_EN_LA_APP
from traductor_es.validacion import medicion
Expand Down Expand Up @@ -81,6 +82,23 @@ def main(argv: list[str] | None = None) -> int:
help="carpeta con en_us.json, es_mx.json y es_es.json del juego: sus nombres entran como oficiales (como "
"en la app) si el banco no los trae",
)
ap.add_argument(
"--grabacion",
type=Path,
default=None,
help="archivo SQLite donde se graban las respuestas del motor; un pedido ya grabado no se vuelve a pagar",
)
ap.add_argument(
"--solo-grabado",
action="store_true",
help="con --grabacion: no llamar a la API; lo que no esté grabado queda sin respuesta (mide gratis)",
)
ap.add_argument(
"--repeticiones",
type=int,
default=1,
help="corridas independientes (cada una con su grabación); la salida lleva _1, _2… en el nombre",
)
ap.add_argument("--simular", action="store_true", help="sin API: solo comprueba que todo funcione")
ap.add_argument("--banco", type=Path, default=RAIZ / "tests" / "datos" / "referencia_es.json")
ap.add_argument("--salida", type=Path, default=RAIZ / "build" / "medicion.json")
Expand All @@ -102,27 +120,41 @@ def main(argv: list[str] | None = None) -> int:
if args.sin_contexto:
banco.ejemplos = {}
banco.casos = [medicion.Caso(c.ambito, c.original, c.referencia) for c in banco.casos]
resultados = medicion.medir(
motor,
banco,
nombre,
modelo,
args.motor,
revisar=args.revisar,
glosario_estricto=not args.glosario_laxo,
hilos=args.hilos or (1 if args.carga_segura else 4),
cantidad_ejemplos=args.n_ejemplos,
controles_de_forma=not args.sin_controles,
)
for m in resultados:
print(m.tabla(), end="\n\n")
peores = resultados[-1].ejemplos[:5]
if peores:
print("Más lejos de la referencia (no siempre son errores):")
for e in peores:
print(f" [{e['chrf']}] {e['original']}\n → {e['traduccion']}\n ref. {e['referencia']}")
medicion.guardar(resultados, args.salida)
print(f"\nDetalle en {args.salida}")
total = 0.0
for repeticion in range(1, max(1, args.repeticiones) + 1):
usado: Motor = motor
if args.grabacion is not None:
usado = MotorGrabado(motor, args.grabacion, repeticion, solo_grabado=args.solo_grabado)
resultados = medicion.medir(
usado,
banco,
nombre,
modelo,
args.motor,
revisar=args.revisar,
glosario_estricto=not args.glosario_laxo,
hilos=args.hilos or (1 if args.carga_segura else 4),
cantidad_ejemplos=args.n_ejemplos,
controles_de_forma=not args.sin_controles,
)
for m in resultados:
print(m.tabla(), end="\n\n")
if isinstance(usado, MotorGrabado):
print(f"Grabación: {usado.aciertos} pedidos grabados, {usado.pedidos} nuevos, {usado.faltantes} sin grabar")
usado.cerrar()
peores = resultados[-1].ejemplos[:5]
if peores and args.repeticiones == 1:
print("Más lejos de la referencia (no siempre son errores):")
for e in peores:
print(f" [{e['chrf']}] {e['original']}\n → {e['traduccion']}\n ref. {e['referencia']}")
salida = args.salida
if args.repeticiones > 1:
salida = salida.with_name(f"{salida.stem}_{repeticion}{salida.suffix}")
medicion.guardar(resultados, salida)
print(f"\nDetalle en {salida}")
total += sum(m.costo_real or 0.0 for m in resultados)
if total:
print(f"Gasto real en la API: US$ {total:.4f}")
return 0


Expand Down
26 changes: 26 additions & 0 deletions src/traductor_es/formatos/javascript.py
Original file line number Diff line number Diff line change
Expand Up @@ -47,13 +47,39 @@ def nombre(self) -> str:
return f"{base}:{self.primera}" if self.primera is not None else base


_HEX = frozenset("0123456789abcdefABCDEF")


def _escape_visible(crudo: str, i: int) -> tuple[str, int] | None:
"""(carácter, largo del escape) si en `i` empieza un `\\uXXXX` o `\\xXX` de un carácter visible; si no, None.

Los de control (`\\u0000`, `\\x1b`…) no se decodifican: quedan como escape crudo y la máscara los protege enteros.
"""
largo = {"u": 4, "x": 2}.get(crudo[i + 1] if i + 1 < len(crudo) else "")
if largo is None:
return None
cifras = crudo[i + 2 : i + 2 + largo]
if len(cifras) != largo or not set(cifras) <= _HEX:
return None
caracter = chr(int(cifras, 16))
if not caracter.isprintable() or 0xD800 <= ord(caracter) <= 0xDFFF:
return None
return caracter, 2 + largo


def des_escapar(crudo: str) -> str:
salida: list[str] = []
i = 0
while i < len(crudo):
c = crudo[i]
if c == "\\" and i + 1 < len(crudo):
sig = crudo[i + 1]
visible = _escape_visible(crudo, i)
if visible is not None: # «é» → «é»: el modelo ve la palabra entera; «§» → «§», un color
caracter, largo = visible
salida.append(caracter)
i += largo
continue
salida.append(_ESCAPES.get(sig, ESCAPE_CRUDO + sig))
i += 2
else:
Expand Down
1 change: 1 addition & 0 deletions src/traductor_es/motores/fabrica.py
Original file line number Diff line number Diff line change
Expand Up @@ -31,6 +31,7 @@ def direccion_por_defecto(motor: str) -> str:

def limites_de_lote(motor: Motor) -> tuple[int, int]:
"""Tamaño de los pedidos que conviene mandarle a este motor."""
motor = getattr(motor, "envuelto", motor) # un motor grabado (medición) usa los límites del real
return LIMITES_LOCALES if isinstance(motor, Compatible) and motor.es_local else LIMITES_NORMALES


Expand Down
17 changes: 17 additions & 0 deletions src/traductor_es/motores/gemini.py
Original file line number Diff line number Diff line change
Expand Up @@ -110,6 +110,9 @@ def __init__(
self._reintentos = reintentos
self._temperatura = temperatura
self._con_razonamiento = True
#: Tokens facturados (entrada, salida con el razonamiento) en esta sesión, según lo que informa Google
self.uso = [0, 0]
self._lock_uso = threading.Lock()
#: Para el modo por lotes: se llama con el estado del trabajo mientras se espera.
self.al_esperar: Callable[[str], None] = lambda _estado: None
#: Si se activa mientras se espera un trabajo por lotes, se cancela en Google y se deja de esperar.
Expand Down Expand Up @@ -157,6 +160,17 @@ def _config(self, lote: Lote) -> types.GenerateContentConfig:
thinking_config=razonamiento,
)

def _anotar_uso(self, respuesta: Any) -> None:
"""Suma los tokens que Google dice haber cobrado por esta respuesta (sin datos, no suma nada)."""
uso = getattr(respuesta, "usage_metadata", None)
if uso is None:
return
entrada = int(getattr(uso, "prompt_token_count", 0) or 0)
salida = int(getattr(uso, "candidates_token_count", 0) or 0) + int(getattr(uso, "thoughts_token_count", 0) or 0)
with self._lock_uso:
self.uso[0] += entrada
self.uso[1] += salida

def traducir_lote(self, lote: Lote) -> dict[str, str]:
espera = _ESPERA_INICIAL
for intento in range(self._reintentos):
Expand All @@ -166,6 +180,7 @@ def traducir_lote(self, lote: Lote) -> dict[str, str]:
respuesta = self._cliente.models.generate_content(
model=self.modelo, contents=usuario(lote), config=self._config(lote)
)
self._anotar_uso(respuesta)
return interpretar(getattr(respuesta, "text", None))
except errors.APIError as e:
fatal = explicar(e)
Expand Down Expand Up @@ -231,5 +246,7 @@ def _un_trabajo(self, lotes: Sequence[Lote]) -> list[dict[str, str]]:
for i in range(len(lotes)):
r = respuestas[i] if i < len(respuestas) else None
texto = getattr(getattr(r, "response", None), "text", None) if r is not None else None
if r is not None:
self._anotar_uso(getattr(r, "response", None))
salida.append(interpretar(texto))
return salida
91 changes: 91 additions & 0 deletions src/traductor_es/motores/grabadora.py
Original file line number Diff line number Diff line change
@@ -0,0 +1,91 @@
"""Grabar y reproducir las respuestas de un motor, para medir cambios del proceso sin el ruido del modelo.

Gemini no responde igual dos veces (en el banco de interfaz, dos corridas coinciden en ~67 % de los textos), así que
al comparar dos versiones del proceso la variación del modelo tapa el efecto del cambio. `MotorGrabado` envuelve a
un motor y guarda en SQLite la respuesta a cada pedido, con la clave del pedido exacto (instrucciones y textos). Si
el pedido se repite, la respuesta sale de la grabación, sin costo y siempre igual. Un cambio que solo toca lo que se
hace después del modelo (controles, arreglos) se mide así contra las mismas respuestas.

Solo es una herramienta de medición: la app no la usa.
"""

from __future__ import annotations

import hashlib
import json
import sqlite3
import threading
from pathlib import Path
from typing import Any, cast

from .base import Lote, Motor
from .instrucciones import sistema, usuario


def clave_del_pedido(motor: str, lote: Lote, repeticion: int = 0) -> str:
"""Huella del pedido: el mismo motor, las mismas instrucciones y los mismos textos dan la misma clave."""
datos = "\x00".join((str(repeticion), motor, sistema(lote), usuario(lote)))
return hashlib.sha256(datos.encode("utf-8")).hexdigest()


class MotorGrabado:
"""Un motor cuyas respuestas se graban y se reutilizan.

`repeticion` separa corridas que deben ser independientes (la 1.ª, la 2.ª…): cada una tiene su propia grabación.
Con `solo_grabado`, un pedido que no está grabado no va a la API: se devuelve vacío (el texto se rechaza, como si
el motor no hubiera respondido) y se cuenta en `faltantes`.
"""

def __init__(self, motor: Motor, ruta: Path, repeticion: int = 0, solo_grabado: bool = False) -> None:
self.envuelto = motor
self.repeticion = repeticion
self.solo_grabado = solo_grabado
self.aciertos = 0 #: respuestas que salieron de la grabación
self.pedidos = 0 #: respuestas que se pidieron al motor (y se grabaron)
self.faltantes = 0 #: pedidos sin grabación con `solo_grabado`
ruta.parent.mkdir(parents=True, exist_ok=True)
self._lock = threading.Lock()
self._db = sqlite3.connect(ruta, check_same_thread=False)
self._db.execute("CREATE TABLE IF NOT EXISTS respuestas (clave TEXT PRIMARY KEY, salida TEXT NOT NULL)")
self._db.commit()

@property
def nombre(self) -> str:
return self.envuelto.nombre

@property
def uso(self) -> list[int] | None:
"""Tokens de entrada y salida que el motor real facturó (lo grabado no cuenta)."""
return cast("list[int] | None", getattr(self.envuelto, "uso", None))

def traducir_lote(self, lote: Lote) -> dict[str, str]:
clave = clave_del_pedido(self.nombre, lote, self.repeticion)

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

P2 Badge Scope recorded replies to the configured endpoint

When the same recording database is reused for the personalizado motor with the same model label but a different --direccion, self.nombre is unchanged, so this key replays the first endpoint's translations while measuring the second. The report can therefore describe the wrong model without making any requests to the configured endpoint; include the endpoint in the recording identity.

Useful? React with 👍 / 👎.

with self._lock:
fila = self._db.execute("SELECT salida FROM respuestas WHERE clave=?", (clave,)).fetchone()
if fila is not None:
self.aciertos += 1
datos: Any = json.loads(str(fila[0]))
return {str(k): str(v) for k, v in cast("dict[str, Any]", datos).items()}
if self.solo_grabado:
self.faltantes += 1
return {}
salida = self.envuelto.traducir_lote(lote)
if salida: # una respuesta vacía (error de red, cuota) no se graba: la próxima vez se vuelve a pedir
with self._lock:
self._db.execute(
"INSERT OR REPLACE INTO respuestas (clave, salida) VALUES (?, ?)",
(clave, json.dumps(salida, ensure_ascii=False)),
)
self._db.commit()
self.pedidos += 1
return salida

def cerrar(self) -> None:
with self._lock:
self._db.close()

def __enter__(self) -> MotorGrabado:
return self

def __exit__(self, *_: object) -> None:
self.cerrar()
2 changes: 2 additions & 0 deletions src/traductor_es/nucleo/ejemplos.py
Original file line number Diff line number Diff line change
Expand Up @@ -80,6 +80,8 @@ def agregar(self, ingles: Mapping[str, object], traducido: Mapping[str, object])
def parecidos(self, textos: Iterable[str], cantidad: int | None = None, largo_total: int = 700) -> dict[str, str]:
"""Los pares más relevantes para estos textos, sin los textos mismos."""
cantidad = self.cantidad if cantidad is None else cantidad
if cantidad <= 0: # sin esto se colaba un ejemplo: el tope se miraba después de agregar el primero
return {}
propios = {t.strip() for t in textos}
buscadas = Counter(p for t in propios for p in _palabras(t))
with self._lock:
Expand Down
Loading
Loading