Create app.py

app.py

@@ -0,0 +1,222 @@
+import re
+import threading
+
+import gradio as gr
+import spaces
+import transformers
+from transformers import pipeline
+
+# 모델과 토크나이저 로딩
+model_name = "Qwen/Qwen2-1.5B-Instruct"
+if gr.NO_RELOAD:
+    pipe = pipeline(
+        "text-generation",
+        model=model_name,
+        device_map="auto",
+        torch_dtype="auto",
+    )
+
+# 최종 답변을 감지하기 위한 마커
+ANSWER_MARKER = "**답변**"
+
+# 단계별 추론을 시작하는 문장들
+rethink_prepends = [
+    "자, 이제 다음을 파악해야 합니다 ",
+    "제 생각에는 ",
+    "잠시만요, 제 생각에는 ",
+    "다음 사항이 맞는지 확인해 보겠습니다 ",
+    "또한 기억해야 할 것은 ",
+    "또 다른 주목할 점은 ",
+    "그리고 저는 다음과 같은 사실도 기억합니다 ",
+    "이제 충분히 이해했다고 생각합니다 ",
+    "지금까지의 정보를 바탕으로, 원래 질문에 사용된 언어로 답변하겠습니다:"
+    "\n{question}\n"
+    f"\n{ANSWER_MARKER}\n",
+]
+
+
+# 수식 표시 문제 해결을 위한 설정
+latex_delimiters = [
+    {"left": "$$", "right": "$$", "display": True},
+    {"left": "$", "right": "$", "display": False},
+]
+
+
+def reformat_math(text):
+    """Gradio 구문(Katex)을 사용하도록 MathJax 구분 기호 수정.
+    이것은 Gradio에서 수학 공식을 표시하기 위한 임시 해결책입니다. 현재로서는
+    다른 latex_delimiters를 사용하여 예상대로 작동하게 하는 방법을 찾지 못했습니다...
+    """
+    text = re.sub(r"\\\[\s*(.*?)\s*\\\]", r"$$\1$$", text, flags=re.DOTALL)
+    text = re.sub(r"\\\(\s*(.*?)\s*\\\)", r"$\1$", text, flags=re.DOTALL)
+    return text
+
+
+def user_input(message, history: list):
+    """사용자 입력을 히스토리에 추가하고 입력 텍스트 상자 비우기"""
+    return "", history + [
+        gr.ChatMessage(role="user", content=message.replace(ANSWER_MARKER, ""))
+    ]
+
+
+def rebuild_messages(history: list):
+    """중간 생각 과정 없이 모델이 사용할 히스토리에서 메시지 재구성"""
+    messages = []
+    for h in history:
+        if isinstance(h, dict) and not h.get("metadata", {}).get("title", False):
+            messages.append(h)
+        elif (
+            isinstance(h, gr.ChatMessage)
+            and h.metadata.get("title")
+            and isinstance(h.content, str)
+        ):
+            messages.append({"role": h.role, "content": h.content})
+    return messages
+
+
+@spaces.GPU
+def bot(
+    history: list,
+    max_num_tokens: int,
+    final_num_tokens: int,
+    do_sample: bool,
+    temperature: float,
+):
+    """모델이 질문에 답변하도록 하기"""
+
+    # 나중에 스레드에서 토큰을 스트림으로 가져오기 위함
+    streamer = transformers.TextIteratorStreamer(
+        pipe.tokenizer,  # pyright: ignore
+        skip_special_tokens=True,
+        skip_prompt=True,
+    )
+
+    # 필요한 경우 추론에 질문을 다시 삽입하기 위함
+    question = history[-1]["content"]
+
+    # 보조자 메시지 준비
+    history.append(
+        gr.ChatMessage(
+            role="assistant",
+            content=str(""),
+            metadata={"title": "🧠 생각 중...", "status": "pending"},
+        )
+    )
+
+    # 현재 채팅에 표시될 추론 과정
+    messages = rebuild_messages(history)
+    for i, prepend in enumerate(rethink_prepends):
+        if i > 0:
+            messages[-1]["content"] += "\n\n"
+        messages[-1]["content"] += prepend.format(question=question)
+
+        num_tokens = int(
+            max_num_tokens if ANSWER_MARKER not in prepend else final_num_tokens
+        )
+        t = threading.Thread(
+            target=pipe,
+            args=(messages,),
+            kwargs=dict(
+                max_new_tokens=num_tokens,
+                streamer=streamer,
+                do_sample=do_sample,
+                temperature=temperature,
+            ),
+        )
+        t.start()
+
+        # 새 내용으로 히스토리 재구성
+        history[-1].content += prepend.format(question=question)
+        if ANSWER_MARKER in prepend:
+            history[-1].metadata = {"title": "💭 사고 과정", "status": "done"}
+            # 생각 종료, 이제 답변입니다 (중간 단계에 대한 메타데이터 없음)
+            history.append(gr.ChatMessage(role="assistant", content=""))
+        for token in streamer:
+            history[-1].content += token
+            history[-1].content = reformat_math(history[-1].content)
+            yield history
+        t.join()
+
+    yield history
+
+
+with gr.Blocks(fill_height=True, title="모든 LLM 모델에 추론 능력 부여하기") as demo:
+    with gr.Row(scale=1):
+        with gr.Column(scale=5):
+            gr.Markdown(f"""
+            # 모든 LLM에 추론 능력 강제하기
+            
+            이것은 모든 LLM(대규모 언어 모델)이 응답 전에 추론할 수 있도록 하는 간단한 개념 증명입니다.
+            이 인터페이스는 *{model_name}* 모델을 사용하는데, **이는 추론 모델이 아닙니다**. 사용된 방법은
+            단지 접두사를 사용하여 모델이 답변을 향상시키는 데 도움이 되는 "추론" 단계를 강제하는 것입니다.
+            관련 기사는 다음에서 확인하세요: [모든 모델에 추론 능력 부여하기](https://huggingface.co/blog/Metal3d/making-any-model-reasoning)
+            """)
+            chatbot = gr.Chatbot(
+                scale=1,
+                type="messages",
+                latex_delimiters=latex_delimiters,
+            )
+            msg = gr.Textbox(
+                submit_btn=True,
+                label="",
+                show_label=False,
+                placeholder="여기에 질문을 입력하세요.",
+                autofocus=True,
+            )
+        with gr.Column(scale=1):
+            gr.Markdown("""## 매개변수 조정""")
+            num_tokens = gr.Slider(
+                50,
+                1024,
+                100,
+                step=1,
+                label="추론 단계당 최대 토큰 수",
+                interactive=True,
+            )
+            final_num_tokens = gr.Slider(
+                50,
+                1024,
+                512,
+                step=1,
+                label="최종 답변의 최대 토큰 수",
+                interactive=True,
+            )
+            do_sample = gr.Checkbox(True, label="샘플링 사용")
+            temperature = gr.Slider(0.1, 1.0, 0.7, step=0.1, label="온도")
+            gr.Markdown("""
+            추론 단계에서 더 적은 수의 토큰을 사용하면 모델이
+            더 빨리 답변할 수 있지만, 충분히 깊게 추론하지 못할 수 있습니다.
+            적절한 값은 100에서 512입니다.
+            최종 답변에 더 적은 수의 토큰을 사용하면 모델의
+            응답이 덜 장황해지지만, 완전한 답변을 제공하지 못할 수 있습니다.
+            적절한 값은 512에서 1024입니다.
+            **샘플링 사용**은 답변을 완성하기 위해 다음 토큰을 선택하는 다른 전략을 사용합니다.
+            일반적으로 이 옵션을 체크해 두는 것이 좋습니다.
+            **온도**는 모델이 얼마나 "창의적"일 수 있는지를 나타냅니다. 0.7이 일반적인 값입니다.
+            너무 높은 값(예: 1.0)을 설정하면 모델이 일관성이 없을 수 있습니다. 낮은 값(예: 0.3)으로
+            설정하면 모델은 매우 예측 가능한 답변을 생성합니다.
+            """)
+            gr.Markdown("""
+            이 인터페이스는 6GB VRAM을 가진 개인 컴퓨터에서 작동할 수 있습니다(예: 노트북의 NVidia 3050/3060).
+            자유롭게 애플리케이션을 포크하여 다른 instruct 모델을 시도해 보세요.
+            """)
+
+    # 사용자가 메시지를 제출하면 봇이 응답합니다
+    msg.submit(
+        user_input,
+        [msg, chatbot],  # 입력
+        [msg, chatbot],  # 출력
+    ).then(
+        bot,
+        [
+            chatbot,
+            num_tokens,
+            final_num_tokens,
+            do_sample,
+            temperature,
+        ],  # 실제로는 "history" 입력
+        chatbot,  # 출력에서 새 히스토리 저장
+    )
+
+if __name__ == "__main__":
+    demo.queue().launch()