Hugging Face's logo

tss-deposium
/
qwen25-deposium-1024d

Feature Extraction
Model2Vec
Safetensors
embeddings
instruction-aware
sentence-similarity
static-embeddings
multilingual
monolingual
Eval Results
Model card Files
xet
Community
qwen25-deposium-1024d
File size: 15,149 Bytes 
6597245
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
 

================================================================================
  🌍 MONOLINGUAL INSTRUCTION-AWARENESS TESTING
================================================================================

🔄 Loading model...
✅ Model loaded!


================================================================================
  Test 1: FRANÇAIS (FR → FR)
================================================================================

────────────────────────────────────────────────────────────────────────────────
  Test 1.1: 'Explique' instruction en français
────────────────────────────────────────────────────────────────────────────────

📝 Query (FR): "Explique comment fonctionnent les réseaux de neurones"

📄 Documents (FR):
  1. ✅ [0.940] Explication détaillée des réseaux de neurones avec tutoriel complet
  2. ⚪ [0.922] Les réseaux de neurones ont été inventés en 1950
  3. ⚪ [0.912] Installation de TensorFlow pour réseaux de neurones

✅ PASS: FR 'Explique' → explication/tutoriel
   Score: 0.940

────────────────────────────────────────────────────────────────────────────────
  Test 1.2: 'Trouve' instruction en français
────────────────────────────────────────────────────────────────────────────────

📝 Query (FR): "Trouve des articles sur le changement climatique"

📄 Documents (FR):
  1. ✅ [0.980] Articles scientifiques et publications sur le changement climatique
  2. ⚪ [0.969] Comment réduire le changement climatique
  3. ⚪ [0.953] Le changement climatique est un problème sérieux

✅ PASS: FR 'Trouve' → articles/publications
   Score: 0.980

================================================================================
  Test 2: ESPAÑOL (ES → ES)
================================================================================

────────────────────────────────────────────────────────────────────────────────
  Test 2.1: 'Explica' instruction en español
────────────────────────────────────────────────────────────────────────────────

📝 Query (ES): "Explica cómo funcionan las redes neuronales"

📄 Documents (ES):
  1. ✅ [0.963] Explicación completa de redes neuronales con tutorial detallado
  2. ⚪ [0.957] Las redes neuronales se utilizan en IA
  3. ⚪ [0.932] Instalación de frameworks de redes neuronales

✅ PASS: ES 'Explica' → explicación/tutorial
   Score: 0.963

────────────────────────────────────────────────────────────────────────────────
  Test 2.2: 'Encuentra' instruction en español
────────────────────────────────────────────────────────────────────────────────

📝 Query (ES): "Encuentra artículos sobre cambio climático"

📄 Documents (ES):
  1. ⚪ [0.956] El cambio climático es un problema global
  2. ⚪ [0.950] Cómo combatir el cambio climático
  3. ❌ [0.947] Artículos científicos y publicaciones sobre cambio climático

❌ FAIL: ES 'Encuentra' → artículos/publicaciones
   Score: 0.947

================================================================================
  Test 3: DEUTSCH (DE → DE)
================================================================================

────────────────────────────────────────────────────────────────────────────────
  Test 3.1: 'Erkläre' instruction en allemand
────────────────────────────────────────────────────────────────────────────────

📝 Query (DE): "Erkläre wie neuronale Netze funktionieren"

📄 Documents (DE):
  1. ✅ [0.958] Ausführliche Erklärung neuronaler Netze mit Tutorial
  2. ⚪ [0.928] Neuronale Netze werden in KI verwendet
  3. ⚪ [0.862] Installation von neuronalen Netz-Frameworks

✅ PASS: DE 'Erkläre' → Erklärung/Tutorial
   Score: 0.958

────────────────────────────────────────────────────────────────────────────────
  Test 3.2: 'Finde' instruction en allemand
────────────────────────────────────────────────────────────────────────────────

📝 Query (DE): "Finde Artikel über Klimawandel"

📄 Documents (DE):
  1. ✅ [0.979] Wissenschaftliche Artikel und Publikationen über Klimawandel
  2. ⚪ [0.958] Klimawandel ist ein ernstes Problem
  3. ⚪ [0.930] Wie man den Klimawandel bekämpft

✅ PASS: DE 'Finde' → Artikel/Publikationen
   Score: 0.979

================================================================================
  Test 4: 中文 (ZH → ZH)
================================================================================

────────────────────────────────────────────────────────────────────────────────
  Test 4.1: '解释' instruction en chinois
────────────────────────────────────────────────────────────────────────────────

📝 Query (ZH): "解释神经网络如何工作"

📄 Documents (ZH):
  1. ✅ [0.976] 神经网络详细解释和教程指南
  2. ⚪ [0.971] 安装神经网络框架
  3. ⚪ [0.971] 神经网络在人工智能中使用

✅ PASS: ZH '解释' → 解释/教程
   Score: 0.976

────────────────────────────────────────────────────────────────────────────────
  Test 4.2: '查找' instruction en chinois
────────────────────────────────────────────────────────────────────────────────

📝 Query (ZH): "查找关于气候变化的文章"

📄 Documents (ZH):
  1. ✅ [0.979] 气候变化科学文章和出版物
  2. ⚪ [0.974] 如何应对气候变化
  3. ⚪ [0.971] 气候变化是一个严重问题

✅ PASS: ZH '查找' → 文章/出版物
   Score: 0.979

================================================================================
  Test 5: العربية (AR → AR)
================================================================================

────────────────────────────────────────────────────────────────────────────────
  Test 5.1: 'اشرح' instruction en arabe
────────────────────────────────────────────────────────────────────────────────

📝 Query (AR): "اشرح كيف تعمل الشبكات العصبية"

📄 Documents (AR):
  1. ⚪ [0.979] الشبكات العصبية تستخدم في الذكاء الاصطناعي
  2. ❌ [0.978] شرح مفصل للشبكات العصبية مع دليل تعليمي
  3. ⚪ [0.973] تثبيت أطر الشبكات العصبية

❌ FAIL: AR 'اشرح' → شرح/دليل
   Score: 0.978

────────────────────────────────────────────────────────────────────────────────
  Test 5.2: 'ابحث' instruction en arabe
────────────────────────────────────────────────────────────────────────────────

📝 Query (AR): "ابحث عن مقالات حول تغير المناخ"

📄 Documents (AR):
  1. ✅ [0.987] مقالات علمية ومنشورات حول تغير المناخ
  2. ⚪ [0.977] كيفية مكافحة تغير المناخ
  3. ⚪ [0.968] تغير المناخ مشكلة خطيرة

✅ PASS: AR 'ابحث' → مقالات/منشورات
   Score: 0.987

================================================================================
  Test 6: РУССКИЙ (RU → RU)
================================================================================

────────────────────────────────────────────────────────────────────────────────
  Test 6.1: 'Объясни' instruction en russe
────────────────────────────────────────────────────────────────────────────────

📝 Query (RU): "Объясни как работают нейронные сети"

📄 Documents (RU):
  1. ✅ [0.991] Подробное объяснение нейронных сетей с учебным пособием
  2. ⚪ [0.987] Нейронные сети используются в ИИ
  3. ⚪ [0.979] Установка фреймворков нейронных сетей

✅ PASS: RU 'Объясни' → объяснение/пособие
   Score: 0.991

────────────────────────────────────────────────────────────────────────────────
  Test 6.2: 'Найди' instruction en russe
────────────────────────────────────────────────────────────────────────────────

📝 Query (RU): "Найди статьи о изменении климата"

📄 Documents (RU):
  1. ✅ [0.990] Научные статьи и публикации об изменении климата
  2. ⚪ [0.989] Как бороться с изменением климата
  3. ⚪ [0.980] Изменение климата это серьезная проблема

✅ PASS: RU 'Найди' → статьи/публикации
   Score: 0.990

================================================================================
  📊 MONOLINGUAL INSTRUCTION-AWARENESS SUMMARY
================================================================================

╔══════════════════════════════════════════════════════════════════════════════╗
║                     MONOLINGUAL TEST RESULTS                                  ║
╚══════════════════════════════════════════════════════════════════════════════╝

✅ Français (FR)       : 2/2 tests passed (100%)
   Average score: 0.960
✅ Español (ES)        : 1/2 tests passed (50%)
   Average score: 0.955
✅ Deutsch (DE)        : 2/2 tests passed (100%)
   Average score: 0.969
✅ 中文 (ZH)             : 2/2 tests passed (100%)
   Average score: 0.978
✅ العربية (AR)        : 1/2 tests passed (50%)
   Average score: 0.983
✅ Русский (RU)        : 2/2 tests passed (100%)
   Average score: 0.991

================================================================================
OVERALL: 10/12 tests passed (83%)
================================================================================

🔬 ANALYSIS:

📊 Latin Scripts (FR/ES/DE):
   Pass rate: 83% (5/6)
   Average score: 0.961

📊 Non-Latin Scripts (ZH/AR/RU):
   Pass rate: 83% (5/6)
   Average score: 0.984

💡 CONCLUSIONS:

✅ Latin-script languages (FR/ES/DE): Instruction-awareness WORKS monolingual
✅ Non-Latin scripts (ZH/AR/RU): Instruction-awareness WORKS monolingual

📉 Performance vs English Baseline (94.96%):
   Latin scripts: --1.2% (96.1% vs 95.0%)
   Non-Latin scripts: --3.4% (98.4% vs 95.0%)

💾 Saving results to monolingual_test_results.json...
✅ Results saved!

╔══════════════════════════════════════════════════════════════════════════════╗
║                      RECOMMENDATION UPDATE                                    ║
╚══════════════════════════════════════════════════════════════════════════════╝

Based on these results, the model's monolingual instruction-awareness is:

✅ GOOD for: Latin scripts (FR/ES/DE) monolingual use - 83% pass rate
❌ POOR for: Non-Latin scripts (ZH/AR/RU) monolingual use - 83% pass rate

This confirms: The model is optimized for English and other Latin-script
languages, but NOT for non-Latin scripts even in monolingual mode.