Tu as peut-être vu passer le projet de 0xloucash : un outil qui prédit comment le cerveau réagit à une vidéo. Derrière, il y a un modèle open source de Meta, TRIBE v2. Voilà ce qu’il y a sous le capot, expliqué simplement.
En bref
- Créé par Meta (équipe de recherche FAIR), annoncé le 26 mars 2026
- Entraîné sur plus de 1 000 heures d’IRM fonctionnelle, enregistrées sur 720 personnes
- La version précédente n’avait été entraînée que sur 4 personnes
- Code et modèle gratuits, sous licence CC BY-NC 4.0 (usage non commercial uniquement)
Comment ça marche, en 4 étapes
1. Les données : des cerveaux dans une IRM
Des volontaires ont regardé des films, écouté des podcasts, vu des images et lu des textes pendant qu’on enregistrait leur cerveau en IRM fonctionnelle.
2. Trois modèles existants pour découper la vidéo
Meta n’a pas tout réinventé. La vidéo est découpée en trois flux, et chacun passe par un modèle d’IA qui existait déjà :
- Le texte → Llama 3.2
- Le son → Wav2Vec-BERT 2.0
- L’image → V-JEPA 2
Chaque modèle transforme ce qu’il reçoit en une suite de nombres que l’ordinateur peut manipuler.
3. Un transformer pour tout fusionner
Un transformer (la même famille d’architecture que les modèles comme ChatGPT) combine les trois flux dans le temps.
4. La sortie : un simple tableau
Le modèle renvoie un tableau : pour chaque instant de la vidéo, l’activité prédite sur environ 20 000 points de la surface du cerveau. Cette prédiction correspond à un cerveau « moyen », pas au tien en particulier.
Le code : 4 lignes
from tribev2 import TribeModel
model = TribeModel.from_pretrained("facebook/tribev2", cache_folder="./cache")
df = model.get_events_dataframe(video_path="path/to/video.mp4")
preds, segments = model.predict(events=df)preds est le fameux tableau : une ligne par instant, une colonne par point du cerveau. On peut aussi lui donner un fichier audio ou un texte (le texte est converti en voix automatiquement).
Ce que le modèle ne fait PAS
- Il ne lit pas tes pensées et ne sait pas si tu « aimes » une vidéo.
- Il ne mesure pas directement l’attention : il prédit une activité cérébrale. Dire « ça, c’est de l’attention », c’est le travail du dev qui construit un outil par-dessus. C’est exactement ce qu’a fait 0xloucash.
- Il prédit un cerveau moyen, pas une personne précise.
Tester toi-même
- La démo en ligne de Meta, sans rien installer
- Le notebook Colab officiel (il te faudra un GPU, celui de Colab suffit pour tester)
- Le modèle texte, Llama 3.2, est en accès restreint : il peut falloir demander l’accès sur Hugging Face.