README.md

metadata

title: FLUXllama
emoji: 🦀🏆🦀
colorFrom: gray
colorTo: pink
sdk: gradio
sdk_version: 5.35.0
app_file: app.py
pinned: false
license: mit
short_description: mcp_server & FLUX 4-bit Quantization(just 8GB VRAM)

English Description

FluxLLama - NF4 Quantized FLUX.1-dev Image Generator

FluxLLama is an optimized implementation of the FLUX.1-dev model using 4-bit quantization (NF4) for efficient GPU memory usage. This application allows you to generate high-quality images from text prompts while using significantly less VRAM than the full-precision model.

Key Features:

• 4-bit NF4 Quantization: Reduces model size from ~24GB to ~6GB VRAM requirement
• Text-to-Image Generation: Create images from detailed text descriptions
• Image-to-Image Generation: Transform existing images based on text prompts
• Customizable Parameters: Control image dimensions, guidance scale, inference steps, and seed
• Efficient Memory Usage: Uses bitsandbytes for optimized 4-bit operations
• Web Interface: Easy-to-use Gradio interface for image generation

Technical Details:

• Uses T5-XXL encoder for text understanding
• CLIP encoder for additional text conditioning
• Custom NF4 (Normal Float 4-bit) quantization implementation
• Supports resolutions from 128x128 to 2048x2048
• Adjustable inference steps (1-30) for quality/speed tradeoff
• Guidance scale control (1.0-5.0) for prompt adherence

How to Use:

1. Enter your text prompt describing the desired image
2. Adjust width and height for your preferred resolution
3. Set guidance scale (higher = closer to prompt)
4. Choose number of inference steps (more = better quality, slower)
5. Optionally set a seed for reproducible results
6. For image-to-image mode, upload an initial image and adjust the noising strength
7. Click "Generate" to create your image

---

한글 설명

FluxLLama - NF4 양자화 FLUX.1-dev 이미지 생성기

FluxLLama는 효율적인 GPU 메모리 사용을 위해 4비트 양자화(NF4)를 사용하는 FLUX.1-dev 모델의 최적화된 구현입니다. 이 애플리케이션을 사용하면 전체 정밀도 모델보다 훨씬 적은 VRAM을 사용하면서도 텍스트 프롬프트로부터 고품질 이미지를 생성할 수 있습니다.

주요 기능:

• 4비트 NF4 양자화: 모델 크기를 ~24GB에서 ~6GB VRAM 요구사항으로 감소
• 텍스트-이미지 생성: 상세한 텍스트 설명으로부터 이미지 생성
• 이미지-이미지 생성: 텍스트 프롬프트를 기반으로 기존 이미지 변환
• 사용자 정의 가능한 매개변수: 이미지 크기, 가이던스 스케일, 추론 단계, 시드 제어
• 효율적인 메모리 사용: 최적화된 4비트 연산을 위한 bitsandbytes 사용
• 웹 인터페이스: 이미지 생성을 위한 사용하기 쉬운 Gradio 인터페이스

기술적 세부사항:

• 텍스트 이해를 위한 T5-XXL 인코더 사용
• 추가 텍스트 조건화를 위한 CLIP 인코더
• 커스텀 NF4 (Normal Float 4비트) 양자화 구현
• 128x128부터 2048x2048까지의 해상도 지원
• 품질/속도 균형을 위한 조정 가능한 추론 단계 (1-30)
• 프롬프트 준수를 위한 가이던스 스케일 제어 (1.0-5.0)

사용 방법:

1. 원하는 이미지를 설명하는 텍스트 프롬프트 입력
2. 원하는 해상도에 맞게 너비와 높이 조정
3. 가이던스 스케일 설정 (높을수록 프롬프트에 더 가깝게)
4. 추론 단계 수 선택 (많을수록 품질 향상, 속도 저하)
5. 재현 가능한 결과를 위해 선택적으로 시드 설정
6. 이미지-이미지 모드의 경우, 초기 이미지를 업로드하고 노이징 강도 조정
7. "Generate" 클릭하여 이미지 생성