|
|
--- |
|
|
language: |
|
|
- ru |
|
|
pipeline_tag: text-classification |
|
|
library_name: transformers |
|
|
--- |
|
|
# basic-go/texbert-moderator |
|
|
|
|
|
Модель предназначена для классификации входного текста, содержащего математические сущности. Модель разделяет следующие классы: |
|
|
|
|
|
- `tex` — корректная разметка на языке LaTeX (эталон качества); |
|
|
- `corrupted` — повреждённая разметка LaTeX, словесные формулировки математических выражений, математические символы Unicode, язык разметки AsciiMath. |
|
|
|
|
|
## Использование |
|
|
|
|
|
Пример ниже определяет метку входного текста и оценивает её вероятность: |
|
|
|
|
|
```python |
|
|
from transformers import pipeline |
|
|
|
|
|
|
|
|
pipe = pipeline("text-classification", model="basic-go/texbert-moderator") |
|
|
print(pipe(r"\frac{1{3 - x^{2 + \phi(x(t)")) |
|
|
|
|
|
# [{'label': 'corrupted', 'score': 0.9999908208847046}] |
|
|
``` |
|
|
|
|
|
Вместе с тем рекомендуется использовать модель в составе библиотеки [Emma](https://github.com/basic-go-ahead/emma) для актуальной пред- и постобработки данных. |
