Files changed (1) hide show
  1. README.md +40 -3
README.md CHANGED
@@ -1,3 +1,40 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ base_model:
4
+ - Qwen/Qwen3-8B
5
+ tags:
6
+ - gguf
7
+ - llama.cpp
8
+ - qwen
9
+ - quantization
10
+ ---
11
+
12
+ # Qwen3-8B-GGUF
13
+
14
+ ## πŸ€– μ½”λ“œλ² μ΄μ§ 제곡
15
+ 이 λͺ¨λΈμ€ **μ½”λ“œλ² μ΄μ§(codebasic)**μ—μ„œ GGUF 포맷으둜 λ³€ν™˜Β·λ°°ν¬ν•˜μ˜€μŠ΅λ‹ˆλ‹€.
16
+
17
+ 이 λ¦¬ν¬μ§€ν† λ¦¬λŠ” [Qwen3-8B](https://huggingface.co/Qwen/Qwen3-8B) λͺ¨λΈμ„ μ—¬λŸ¬ GGUF μ–‘μžν™” λ²„μ „μœΌλ‘œ μ œκ³΅ν•©λ‹ˆλ‹€.
18
+ llama.cpp, text-generation-webui, koboldcpp λ“± GGUF 포맷을 μ§€μ›ν•˜λŠ” λ‹€μ–‘ν•œ ν™˜κ²½μ—μ„œ μ‚¬μš©ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
19
+
20
+ ---
21
+
22
+ ## πŸ“‚ 제곡 파일
23
+
24
+ | 파일λͺ… | μ–‘μžν™” 방식 | λ©”λͺ¨λ¦¬ μš”κ΅¬λŸ‰(λŒ€λž΅) | μ„€λͺ… |
25
+ |--------|------------|----------------------|------|
26
+ | `Qwen3-8B-F16.gguf` | FP16 (λΉ„μ–‘μžν™”) | ~16GB | 원본 FP16 κ°€μ€‘μΉ˜ (GPU/고사양 ν™˜κ²½) |
27
+ | `Qwen3-8B-Q8_0.gguf` | Q8_0 | ~9GB | κ³ ν’ˆμ§ˆ μ–‘μžν™”, 거의 FP16 μˆ˜μ€€μ˜ 정확도 |
28
+
29
+ > πŸ’‘ λ©”λͺ¨λ¦¬ μš”κ΅¬λŸ‰μ€ μΆ”μ •μΉ˜μ΄λ©°, ν™˜κ²½μ— 따라 λ‹€λ₯Ό 수 μžˆμŠ΅λ‹ˆλ‹€.
30
+
31
+ ---
32
+
33
+ ## πŸš€ μ‚¬μš© 방법
34
+
35
+ ### 1. Docker (llama.cpp Q8_0 μ˜ˆμ‹œ)
36
+ ```bash
37
+ docker run -v /path/to/models:/models \
38
+ ghcr.io/ggml-org/llama.cpp:full \
39
+ --run -m /models/Qwen3-8B/Qwen3-8B-Q8_0.gguf \
40
+ -p "μ–Έμ–΄ λͺ¨λΈ μ†Œκ°œ"