Skip to content

feat(seleccion): perfiles de calidad con verificador a ciegas - #37

Merged
Consterna merged 2 commits into
mainfrom
feat/perfiles-calidad
Nov 16, 2026
Merged

Consterna merged 2 commits into
mainfrom
feat/perfiles-calidad

Conversation

@Consterna

Copy link
Copy Markdown
Owner

Ola 6 del plan de calidad: perfiles de calidad y un verificador a ciegas para toda corrección. Va encima del #36; cuando ese se fusione, aquí queda solo el último commit.

Qué cambia

Verificador a ciegas (validacion/verificacion.py)

  • Una corrección se queda solo si el juez (tarea «comparar», con los códigos enmascarados) prefiere la versión nueva en los dos órdenes.
  • Si hay empate, el juez se contradice o el pedido falla, queda la anterior.
  • Traductor.rehacer traduce sin guardar, verifica y guarda solo lo que gana. Así la revisión de misiones y libros ya no acepta a ciegas lo rehecho.

Perfiles (--calidad, «Calidad» en la ventana; la estimación de costo incluye cada uno)

Perfil Qué hace Costo medido
Económico Solo los arreglos automáticos base
Equilibrado (por defecto) Corrige una vez lo dudoso, explicando qué falló («las cifras no coinciden…») ≈ +5 %
Máximo Además, traduce tres veces cada texto de 6 palabras o menos; ver abajo ×1,3, más la revisión

En el perfil máximo:

  • Gana la traducción en que coinciden dos de las tres.
  • Si no coinciden, gana la de mejor promedio de rangos entre tres señales: las dudas del control de calidad, los términos que faltan y el chrF contra las otras dos. El texto queda marcado como incierto.
  • También activa la revisión de misiones y libros.

Otros cambios

  • chrf pasa a validacion/chrf.py para que el traductor lo use sin un import circular.
  • El Simulador también juzga: con marcar prefiere su versión corregida y, sin marcar, dice «igual».

Medición

Gemini 3.8 Flash, US$ 0,26 en total.

Máximo contra económico, en la interfaz (2 corridas):

  • chrF: +0,09 (IC −0,38 a +0,60), no se distingue del ruido.
  • Juez a ciegas sobre los 83 textos que cambiaron: 37 victorias del máximo, 32 del económico y 14 empates.
  • Las tres traducciones casi siempre coinciden, y cuando no, cambia la redacción y no el sentido.
  • Por eso queda como opción y no como perfil por defecto.

Equilibrado, en misiones:

  • Corrigió un texto por corrida.
  • En una corrida el juez prefirió la corrección («ítem» como el es_mx del juego); en la otra se quedó la primera.
  • El costo extra fueron unos 3 pedidos chicos.

Verificación

scripts/verificar.py completo: 1370 pruebas pasan, cobertura del 94 %. Las pruebas nuevas están en tests/test_perfiles.py.

La memoria guarda cada traducción con su modpack y su calidad. Un pack usa lo suyo y, de otro, solo lo que quedó sin dudas; los nombres del juego mandan sobre la memoria y lo que estaba bien se vuelve a comprobar con el glosario de hoy. La base se migra sola con una copia del archivo viejo y el paquete compartible lleva lo dudoso marcado.
Toda corrección se queda solo si un juez a ciegas la prefiere en los dos órdenes, también la de la revisión de misiones y libros. El perfil equilibrado (por defecto) corrige una vez lo dudoso; el máximo además traduce tres veces lo corto y elige por mayoría o por promedio de rangos, y revisa misiones y libros. Con Gemini 3.8 Flash el consenso no mejoró de forma medible y queda como opción.
@chatgpt-codex-connector

chatgpt-codex-connector Bot commented Nov 15, 2026 •

Copy link
Copy Markdown
Codex Review Summary: ✅ Completed

This comment shows the latest Codex review activity on this pull request.

Review Status Commit Review trigger
📝 Code Review ✅ Completed 2026-11-15T22:01:51.047373Z 0502530 PR opened
ℹ️ About Codex in GitHub

Your team has set up Codex to review pull requests in this repo. Reviews are triggered when you

  • Open a pull request for review
  • Mark a draft as ready
  • Comment "@codex review" or "@codex security review".

Codex reacts with 👀 while any review is running, comments if it has suggestions, and reacts with 👍 once all reviews finish with no findings.

@chatgpt-codex-connector chatgpt-codex-connector Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

💡 Codex Review

Here are some automated review suggestions for this pull request.

Reviewed commit: 0502530f43

ℹ️ About Codex in GitHub

Your team has set up Codex to review pull requests in this repo. Reviews are triggered when you

  • Open a pull request for review
  • Mark a draft as ready
  • Comment "@codex review".

If Codex has suggestions, it will comment; otherwise it will react with 👍.

Codex can also answer questions or update the PR. Try commenting "@codex address that feedback".

total = _costo_traduccion(self.caracteres, self.a_traducir, precio)
total = total / 2 if por_lotes else total
if revisar: # la revisión va en modo normal aunque la traducción vaya por lotes
total *= _COSTO_DEL_PERFIL.get(calidad, 1.0)

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

P2 Badge Estima los extras de calidad a precio normal

Al usar --lotes, el costo base se divide entre dos, pero las rondas adicionales de equilibrado y maximo no usan Batch: _rehacer y _consenso_de_cortos fuerzan por_lotes=False, y gana_la_nueva llama directamente a traducir_lote. Multiplicar el subtotal ya descontado por 1.05 o 1.3 también aplica el descuento a esos pedidos síncronos, por lo que la estimación mostrada antes de traducir queda sistemáticamente por debajo del costo; calcula el suplemento del perfil a tarifa normal y súmalo al costo base de Batch.

Useful? React with 👍 / 👎.

@Consterna
Consterna merged commit 60924a0 into main Nov 16, 2026
5 checks passed
@Consterna
Consterna deleted the feat/perfiles-calidad branch November 16, 2026 00:33
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant