Ma bourde : LTX 2.5 tourné avec un encodeur photocopié. Les gros labos rangent leurs ratés, moi je les encadre

En bref

• L'encodeur de texte lit ta consigne avant que le modèle dessine. Le nôtre avait 2 412 octets de plus que l'officiel et une empreinte différente.
• Temps et coût identiques : 0,23 $ pour 6 prises dans chaque version. Si tu en tournes 100 comme celles-là : environ 3,8 $ des deux côtés (notre calcul).
• Verdict sur six paires : l'ancienne copie n'est pas équivalente et a tendance à rendre l'image plus instable, sans perdre à chaque tirage.

Ce qui s'est passé

Nos fichiers LTX 2.5 venaient d'une copie libre du dépôt de Lightricks, dont l'encodeur de texte n'était pas celui de l'éditeur (API publique de Hugging Face) :

La copie date de quatre jours avant la mise à jour de Lightricks : notre déduction, c'est qu'on tournait avec l'ancienne version. Les quatre autres fichiers du modèle sont identiques à l'officiel (empreintes).

Ce que ça change

Deux tests, deux jeux de réglages, jamais mélangés.

1. La scène White Rose + Kira du studio

Même scène tournée deux fois, mêmes graines (42 et 7), seul l'encodeur change. Réglages, qui ne sont pas ceux de notre banc : LTX 2.5 dev bf16, LoRA distillée 0,5, LoRA du personnage 1,0, 1920 × 1088, 3 plans × 2 graines = 6 paires.

Le MAD est l'écart moyen entre les pixels (0 à 255), le SSIM la ressemblance de structure (1 = identiques). Ce sont des mesures de différence, pas de qualité. Pour l'échelle : l'écart entre deux graines différentes avec le même encodeur, la taille d'une vraie « autre prise ».

Entre deux graines, le MAD vaut 19,0 (plan 01), 11,7 (plan 02) et 15,0 (plan 03) : les 3 premières paires sont 4 à 7 fois sous cet écart, les 3 autres l'atteignent ou le dépassent. Dans ces 3 prises, l'ancienne version bouge de 1,3 à 4 fois plus, malgré Static camera (« caméra fixe »).

Plan 03, graine 42 : le gros écart. Avec l'ancienne copie, la caméra bascule vers le bas dès 2,2 s et perd le visage de Kira pendant sa réplique (synchro bouche-voix : corrélation de −0,07, contre 0,48). Avec l'officielle, le cadre reste fixe.

Plan 01, graine 7 : le décor qui bouge. Avec l'ancienne copie, le canapé change de forme entre 1,1 et 2,3 s, puis tout revient d'un coup. Avec l'officielle, le décor reste stable.

Plan 01, graine 42 : match nul. L'officielle exécute mieux le passage de la boîte mais la dédouble ; l'ancienne est plus propre, l'action moins nette.

Bilan : l'ancienne copie n'est pas équivalente à l'officielle et a tendance à rendre l'image plus instable, sans perdre à chaque tirage. Base : six paires, deux graines.

2. Notre banc vidéo V0, refait avec l'encodeur officiel

Quatre plans de 5 s (trottoir, café, carte, nuit), un tirage chacun, graine 2210, LTX 2.5 distillé en 704 × 1280. L'« ancien » date du 26/10 ; le 02/11, je l'ai refait avec l'encodeur officiel, mêmes images, consignes et réglages, même modèle de carte.

Le PSNR (en dB) est une autre mesure d'écart : plus il est bas, plus les vidéos diffèrent. Elles disent qu'il y a une différence, pas laquelle est meilleure, alors j'ai regardé. Le premier plan charge le modèle, d'où son temps.

Sur un seul tirage par plan :

• Trottoir. La consigne dit qu'elle regarde sur sa gauche. Les deux versions prennent un autre chemin (vers 3,5 s, l'ancienne est de profil, l'officielle presque de face), mais toutes les deux finissent la tête tournée vers sa droite, le visage caché par les cheveux : aucune ne respecte la consigne.
• Café. Avec l'officielle, des sous-titres fautifs s'incrustent (« deamin », « gui donduis ») malgré no subtitles (« pas de sous-titres ») ; aucun avec l'ancienne. Un seul tirage : reste à voir si ça récidive.
• Carte et nuit. Pas de gagnant.

3. Temps et coût

Banc : 127,1 s et 0,0879 $ pour les 4 plans avec l'ancienne copie, 126,8 s et 0,0878 $ avec l'officielle. Si tu fais 100 plans de 5 s : 1,92 $ contre 1,90 $, deux centimes d'écart (notre calcul : durée × 2,49 $ de l'heure). Scène : 221 s contre 224 s, 0,23 $ chacune pour 6 prises (au prorata du temps de calcul) ; si tu en fais 100 : environ 3,8 $ des deux côtés. Des secondes d'écart, c'est du bruit.

Refaire le banc nous a coûté 6 min 28 s de pod, soit 0,27 $ au prix horaire.

Comment on l'a vu

• Tailles et empreintes. Une empreinte sha256 est le numéro de série mathématique d'un fichier. Comparés au dépôt officiel, quatre de nos cinq fichiers collaient, l'encodeur non.
• Le piège. Le journal de lancement du tournage affichait pour les encodeurs une empreinte commençant par e3b0c44298fc. C'est celle d'un fichier vide : la commande qui devait lire le fichier avait échoué au lancement, et l'empreinte a été calculée sur rien. J'ai recalculé moi-même l'empreinte d'une entrée vide le 02/11 : même début.

Leçon : vérifier l'empreinte ET la commande qui la calcule, sinon on contrôle du vide avec beaucoup d'assurance. Seules comptent celles mesurées sur la machine et conformes à l'API.

Ce qu'on a corrigé

• On tourne avec l'encodeur officiel, pris sur le dépôt de Lightricks. Les cinq fichiers sont vérifiés par taille et empreinte avant la moindre génération : un fichier absent ou non conforme bloque tout.
• Le banc V0 est refait : les chiffres ci-dessus. La scène, elle, n'a pas été retournée : on a mesuré les 12 prises existantes.

Ce qu'on ne sait pas encore

• Ce qui a changé dans l'encodeur. Le titre de l'envoi de Lightricks annonce une mise à jour des encodeurs Gemma 4 12B sans la détailler, et les pages que j'ai lues n'en disent pas plus.
• Si l'écart se retrouve ailleurs : six paires, quatre plans, un tirage chacun, c'est trop peu pour une règle. Pareil pour les sous-titres du café.

Les mots à retenir

• Encodeur de texte : la partie du modèle qui transforme ta consigne en nombres.
• Empreinte sha256 : numéro de série calculé sur le contenu d'un fichier ; un octet de différence, et elle change.
• MAD, SSIM, PSNR : des mesures d'écart entre deux images, pas de qualité.

Tous nos mots expliqués : le glossaire →

Passages sources

L'autriceMilky

Je ne crois pas une démo. Je refais le test moi-même et je te montre le résultat, même quand il est moche. Et ne me mets pas en colère, tu ne vas pas aimer la suite.

X @MilkAndRiotInstagram @milkandriot_

Tous ses articles →