SetFit with mini1013/master_domain
This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.
The model has been trained using an efficient few-shot learning technique that involves:
- Fine-tuning a Sentence Transformer with contrastive learning.
- Training a classification head with features from the fine-tuned Sentence Transformer.
Model Details
Model Description
Model Sources
Model Labels
| Label |
Examples |
| 1.0 |
- '프로랑스 32호 입술펜슬 오토 립라이너 5W525AC824 옵션없음 주도매'
- '로페스 오토 립라이너 펜슬 32호 옵션없음 북가무역'
- '313764 BOBBI 브라운 립 라이너 COCOA 14 옵션없음 에스비 컴퍼니'
|
| 7.0 |
- '에스티 로더 2024 홀리데이 블록버스터 세트 (11종 세트 & 파우치 + 홀리데이 쇼핑백 증정) 에스티 로더'
- '에스쁘아 아이 코어 팔레트 9g + 톤페어링 리퀴드 치크 8ml, 2종 SET 에스쁘아 본사직영샵'
- '[3개세트] 글래스팅 컬러 글로스 4g+글래스팅 멜팅 밤 3.5g+미니 쥬시 래스팅 틴트 2g 3종 세트 롬앤'
|
| 4.0 |
- '[입생로랑] NEW 베르니 아 레브르 바이닐 크림 416 싸이키델릭 칠리 주식회사 인터파크커머스'
- '맥 파우더 키스 리퀴드 립컬러 5ml 어 리틀 템드 옵션없음 PDValues LLC'
- '베르니 아 레브르 바이닐 크림 8가지 색상 YSL610 주식회사 스타일가든이'
|
| 5.0 |
- '페리페라 잉크 블랙 카라 풀볼륨 컬링 (주)금용주상사'
- '(유통기한 임박)투쿨포스쿨 아트 클래스 매지컬 픽싱 마스카라 7g 2호 다크브라운(24.04까지) 리앤햇'
- '데자뷰 파이버윅 울트라롱 마스카라 7.2g 내추럴브라운 피아스인터코스멕스한국 주식회사'
|
| 2.0 |
- '페리페라 잉크 무드 매트 스틱 (색상선택) 06 모브병유발 (주)글로벌세림'
- '[아워글래스](신세계 타임스퀘어점패션관)팬텀 볼류마이징 글로시 밤 트레이스 주식회사 에스에스지닷컴'
- '입생로랑 루쥬 볼륍떼 캔디 글레이즈 3.2g 4 누드 플레져 주식회사 푸른거리'
|
| 12.0 |
- '페리페라 잉크 브이 쉐딩 9.5g 2호카카오브라운 포라이프(4LIFE)'
- '쉬글램 루나 글로우 하이라이터 1) Tea Cake 옐로우브릭로드'
- '컬러그램 입체 창조 쉐딩 스틱 1.3g 3종택일 01호 웜톤 뷰테크'
|
| 0.0 |
- '로라메르시에 립 그레이스 Mel테드 Sugar B 풀 사이즈 교수님선물 옵션없음 남인터내셔널'
- '삐아오버글레이즈 삐아체리당 슈가시럽광 체리당 와우마트'
- '맑은 색감 립 글로스 5g PK103 베이비핑크 옵션없음 송승찬'
|
| 9.0 |
- '스머징 트임 아이라이너 0.12g (3colors) 1호 헤이즈 유럽피아'
- '미샤 비비드 픽스 마커 펜 라이너 0.6g (딥브라운) 옵션없음 제이앤비'
- '머지 더 퍼스트 슬림 젤 아이라이너 0.05g 옵션없음 다사다 유한책임회사'
|
| 8.0 |
- '마샬리아 마이 온리 세럼 옵션없음 제이뷰티'
- '(2+1) GEMSHO 젬소 더블이펙트 영양마스카라X2 옵션없음 주식회사 젬소(GEMSHO)'
- '래쉬앤브로우 코팅에센스5ml 속눈썹 영양제 옵션없음 리얼뷰티'
|
| 3.0 |
- 'Burt’s Bees 홀리데이 선물 세트 옵션없음 샵인프랑'
- '[라부르켓] 립 밤 아몬드/코코넛 14g 화이트_F (주)신세계인터내셔날'
- '버츠비 비즈왁스 립밤 택4 종이케이스포함 종류_허니4개 제이마켓'
|
| 11.0 |
- '미샤 트리플 섀도우 2g (레이디 밀크티) 옵션없음 제이앤비'
- '노베브 언더 아이 마스터 0.8g 08호 코랄스칼렛 캐치헬스'
- '맥 프로 롱웨어 페인트팟 아이섀도우 5g 부지 옵션없음 원라이브쇼핑'
|
| 6.0 |
- '백화점정품) 크리니크 치크 팝 발레리나팝 3.5g 피치팝 제이 컴퍼니'
- '누즈 무스 케어 치크 16ml 1021814 옵션없음 굿데이'
- '힌스 트루 디멘션 래디언스 밤 10g(라이트) 옵션없음 옐로우로켓'
|
| 10.0 |
- '바비브라운 퍼펙틀리 디파인드 롱웨어 브라우 펜슬 0.33g 옵션없음 안느의집'
- '크리니크 브로우 쉐이퍼 3.1g 01 토우페 에르에르샵'
- '맥 아이 브로우 스타일러 0.9g 1021649 페니 배스테인'
|
Evaluation
Metrics
| Label |
Accuracy |
| all |
0.7552 |
Uses
Direct Use for Inference
First install the SetFit library:
pip install setfit
Then you can load this model and run inference.
from setfit import SetFitModel
model = SetFitModel.from_pretrained("mini1013/master_cate_bt6_test")
preds = model("에뛰드 컬픽스 마스카라 8g 그레이 브라운 버프샵")
Training Details
Training Set Metrics
| Training set |
Min |
Median |
Max |
| Word count |
4 |
9.3296 |
20 |
| Label |
Training Sample Count |
| 0.0 |
16 |
| 1.0 |
18 |
| 2.0 |
19 |
| 3.0 |
24 |
| 4.0 |
19 |
| 5.0 |
20 |
| 6.0 |
21 |
| 7.0 |
15 |
| 8.0 |
21 |
| 9.0 |
22 |
| 10.0 |
31 |
| 11.0 |
22 |
| 12.0 |
19 |
Training Hyperparameters
- batch_size: (512, 512)
- num_epochs: (50, 50)
- max_steps: -1
- sampling_strategy: oversampling
- num_iterations: 60
- body_learning_rate: (2e-05, 1e-05)
- head_learning_rate: 0.01
- loss: CosineSimilarityLoss
- distance_metric: cosine_distance
- margin: 0.25
- end_to_end: False
- use_amp: False
- warmup_proportion: 0.1
- l2_weight: 0.01
- seed: 42
- eval_max_steps: -1
- load_best_model_at_end: False
Training Results
| Epoch |
Step |
Training Loss |
Validation Loss |
| 0.0312 |
1 |
0.4833 |
- |
| 1.5625 |
50 |
0.3686 |
- |
| 3.125 |
100 |
0.0991 |
- |
| 4.6875 |
150 |
0.0361 |
- |
| 6.25 |
200 |
0.0224 |
- |
| 7.8125 |
250 |
0.0132 |
- |
| 9.375 |
300 |
0.0102 |
- |
| 10.9375 |
350 |
0.0069 |
- |
| 12.5 |
400 |
0.0012 |
- |
| 14.0625 |
450 |
0.0002 |
- |
| 15.625 |
500 |
0.0002 |
- |
| 17.1875 |
550 |
0.0002 |
- |
| 18.75 |
600 |
0.0001 |
- |
| 20.3125 |
650 |
0.0001 |
- |
| 21.875 |
700 |
0.0001 |
- |
| 23.4375 |
750 |
0.0001 |
- |
| 25.0 |
800 |
0.0001 |
- |
| 26.5625 |
850 |
0.0001 |
- |
| 28.125 |
900 |
0.0001 |
- |
| 29.6875 |
950 |
0.0001 |
- |
| 31.25 |
1000 |
0.0001 |
- |
| 32.8125 |
1050 |
0.0001 |
- |
| 34.375 |
1100 |
0.0001 |
- |
| 35.9375 |
1150 |
0.0001 |
- |
| 37.5 |
1200 |
0.0001 |
- |
| 39.0625 |
1250 |
0.0001 |
- |
| 40.625 |
1300 |
0.0001 |
- |
| 42.1875 |
1350 |
0.0001 |
- |
| 43.75 |
1400 |
0.0001 |
- |
| 45.3125 |
1450 |
0.0001 |
- |
| 46.875 |
1500 |
0.0001 |
- |
| 48.4375 |
1550 |
0.0001 |
- |
| 50.0 |
1600 |
0.0001 |
- |
Framework Versions
- Python: 3.10.12
- SetFit: 1.1.0
- Sentence Transformers: 3.3.1
- Transformers: 4.44.2
- PyTorch: 2.2.0a0+81ea7a4
- Datasets: 3.2.0
- Tokenizers: 0.19.1
Citation
BibTeX
@article{https://doi.org/10.48550/arxiv.2209.11055,
doi = {10.48550/ARXIV.2209.11055},
url = {https://arxiv.org/abs/2209.11055},
author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {Efficient Few-Shot Learning Without Prompts},
publisher = {arXiv},
year = {2022},
copyright = {Creative Commons Attribution 4.0 International}
}
