File size: 1,613 Bytes
75ec748 88911a6 75ec748 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 |
# Vos TODO:
1. ~~Le leaderboard ça ne fonctionne pas, ce ne sont pas toujours les mêmes métriques. Il faut trouver un moyen de faire ca adéquatement.~~
2. ~~2. Avoir un gabarit de JSON sur le site Web pour faciliter la soumission~~
```json
submission_json = {
"model_name": "a_model_name",
"model_url": "a_model_url",
"tasks": [
{
"qfrcola": {
"predictions": [1, 1, 1, 1, 1]
}
},
{
"allocine": {
"predictions": [1, 1, 1, 1, 1]
}
}
]
}
```
4. ~~Finir le README.md du repor COLLE, inclure notamment les détail de chaque corpus et provenance du dataset.~~
7. ~~Retirer les étiquettes des tests set des jeu de données dans [COLLE-public](https://huggingface.co/datasets/graalul/COLLE-public/).~~
6. ~~Vérifier les licences des datasets pour respecter l'acchiage de licence de [COLLE-public](https://huggingface.co/datasets/graalul/COLLE-public).~~ (Voir datasets_metadata)
~~3. Expliquer pour chaque tâche le format des prédictions attendus. P. ex. pour FQuaD:~~ (Voir datasets_metadata)
```{"predictions": ["text1", "text 2", ...```
4. ~~Étoffer le contenu du README.md de COLLE-public et copier-coller dans COLLE.~~
# TODO David:
1. ~~Il y une erreur dans le corpus QFrBLiMP sur COLLE et COLLE-public. Le 2e tests de la task va break quand tu va faire le changement.~~
2. La description de QFrBLiMP n'est pas bonne à finaliser.
3. Publication de QFrCoLA à corriger aussi.
|