---
language:
- ru
- en

pipeline_tag: sentence-similarity

inference: false

library_name: transformers

tags:
- russian
- pretraining
- embeddings
- tiny
- feature-extraction
- sentence-similarity
- sentence-transformers
- transformers

datasets:
- IlyaGusev/gazeta
- zloelias/lenta-ru
- HuggingFaceFW/fineweb-2
- HuggingFaceFW/fineweb

license: mit

base_model: sergeyzh/BERTA-uncased

---

## rubert-mini-uncased-GGUF

Оригинальная модель: [BERTA-uncased](https://huggingface.co/sergeyzh/BERTA-uncased)


Для запуска модели в качестве сервера необходимо использовать llama.cpp:

```bash
llama-server -m BERTA-uncased-q8_0.gguf -c 512 -ngl 99 --embedding --port 8080
```

Возможно использование с LM Studio.



## Использование модели после запуска llama-server:

```python
import numpy as np
import requests
import json

def embeding(text):
    url = 'http://127.0.0.1:8080/v1/embeddings'  
    headers = {"Content-Type": "application/json", "Authorization": "no-key"} 
    data={"input": text,
          "model": "BERTA-uncased",
          "encoding_format": "float"}
    r = requests.post(url, headers=headers, data=json.dumps(data))
    emb = np.array([np.array(s['embedding']) for s in r.json()['data']])
    return emb

inputs = [
    # 
    "paraphrase: В Ярославской области разрешили работу бань, но без посетителей",
    "categorize_entailment: Женщину доставили в больницу, за ее жизнь сейчас борются врачи.",
    "search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",
    # 
    "paraphrase: Ярославским баням разрешили работать без посетителей",
    "categorize_entailment: Женщину спасают врачи.",
    "search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование."
]

embeddings = embeding(inputs)
sim_scores = embeddings[:3] @ embeddings[3:].T
print(sim_scores.diagonal().tolist())

```