모델마다 적절한 CFG 값은 다르다

 

왜 모델마다 CFG 값이 다를까?

1. 모델 학습 방식 및 데이터셋:
   • 다양성 vs. 충실도: 각 모델은 특정 데이터셋으로 학습되며, 이 과정에서 프롬프트에 얼마나 "엄격하게" 따르도록 학습되었는지에 따라 CFG 값의 민감도가 달라집니다. 어떤 모델은 기본적으로 프롬프트에 더 충실하게 학습되었을 수 있고, 어떤 모델은 더 창의적이고 다양한 결과물을 내도록 학습되었을 수 있습니다.
   • 정규화/안정성: 모델의 내부 구조나 정규화 방식에 따라 CFG 값을 높였을 때 아티팩트(왜곡, 노이즈)가 발생하는 지점이 다릅니다.
     
     
2. Fine-tuning 및 LoRA:
   • 기존 모델을 기반으로 특정 스타일이나 특정 대상을 학습시킨 Fine-tuned 모델이나 LoRA(Low-Rank Adaptation) 모델은 원본 모델과 다른 CFG 민감도를 가질 수 있습니다.
   • 예를 들어, 특정 캐릭터나 스타일을 매우 충실하게 재현하도록 학습된 모델은 비교적 낮은 CFG 값에서도 좋은 결과를 낼 수 있습니다. 반대로, 범용적으로 학습된 모델은 원하는 디테일을 얻기 위해 더 높은 CFG가 필요할 수 있습니다.
3. 샘플링 방법 (Sampler):
   • Euler, DPM++ SDE Karras, DDIM 등 다양한 샘플링 방법(Sampler)이 있으며, 이 샘플러들의 특성도 CFG 값과의 상호작용에 영향을 미칠 수 있습니다. 특정 샘플러는 높은 CFG 값에서도 안정적인 반면, 다른 샘플러는 낮은 CFG에서 더 좋은 결과를 보일 수 있습니다.
     
     
4. 프롬프트의 복잡성 및 상세도:
   • 매우 상세하고 구체적인 프롬프트는 상대적으로 낮은 CFG 값에서도 프롬프트의 의도를 잘 반영할 수 있습니다.
   • 반대로, 짧고 추상적인 프롬프트는 원하는 결과를 얻기 위해 더 높은 CFG 값이 필요할 수 있습니다. (하지만 너무 높으면 아티팩트 발생 가능성 증가)
     
     

일반적인 CFG 값 범위 (참고용)

• Stable Diffusion 1.5 계열 모델: 보통 7~10 사이가 가장 일반적입니다. (예: 7, 7.5, 8, 9)
• Stable Diffusion XL (SDXL) 계열 모델: SDXL은 일반적으로 SD 1.5보다 낮은 CFG 값에서 더 좋은 결과를 내는 경향이 있습니다. 보통 4~7 사이가 권장됩니다. 이는 SDXL 모델 자체가 더 강력하고 프롬프트 이해도가 높기 때문입니다.
• 특정 파인튜닝 모델/LoRA: 개발자나 커뮤니티에서 권장하는 CFG 범위가 있을 수 있습니다.
  
  

결론 및 권장 사항

따라서, 새로운 AI 이미지 생성 모델을 사용하기 시작할 때는 다음 단계를 따르는 것이 좋습니다.

1. 모델 제공자 또는 커뮤니티의 권장 CFG 값 확인: 모델을 다운로드하거나 사용할 때, 보통 개발자나 사용자들이 추천하는 CFG 값 범위가 명시되어 있습니다.
2. 작은 범위에서 테스트: 권장 값을 기준으로 1~2 정도씩 낮추거나 높여가면서 소량의 이미지를 생성해보고 가장 좋은 결과를 주는 값을 찾아봅니다.
3. 샘플러와 함께 실험: CFG는 샘플링 방법과도 상호작용하므로, 여러 샘플러와 CFG 값을 조합하여 테스트해 보는 것이 좋습니다.

AI 이미지 생성은 실험의 과정이므로, 모델과 프롬프트에 맞는 최적의 CFG 값을 찾는 것은 중요한 튜닝 작업입니다.