SD ControlNet 사용법 - control Type 리스트 정리

ControlNet
https://github.com/lllyasviel/ControlNet

Stable Diffusion Automatic1111 WebUI extension for ControlNet 
https://github.com/Mikubill/sd-webui-controlnet


ControlNet v1.1: A complete guide
https://stable-diffusion-art.com/controlnet/


ControlNet v1.1 모델 
https://huggingface.co/lllyasviel/ControlNet-v1-1

- SDXL용 모델
https://huggingface.co/SargeZT



//-----------------------------------------------------------------------------
control Type

* Canny - Canny edge detection
- 윤곽선 검출, 생물

* Depth - depth map
- 구분이 확실한 이미지에서 효과

* Normal - normal map
- 구분이 확실한 이미지에서 효과

* OpenPose - 인간 동작와 표정 인식

* MLSD - M-LSD straight line detection
- 직선이 많은 건물이나 공간

* Lineart - Anime Line Drawing

* SoftEdge - 이전 HED를 개선한 버전, 부드러운 윤곽선 검출
SoftEdge_PIDI 사용 권장

* Scribble - 사용자 스케치를 이용한 생성, 그림에서 스케치 인식 추출

* Seg - Semantic Segmentation
- 윤곽과 범위 인식, 건물, 풍경에 적용

* Shuffle - 이미지를 혼합해서 비슷한 분위기의 전혀 다른 이미지 생성

* Tile - 업스케일링에 사용
'Ultimate SD upscale'등과 함께 사용해서 원본이미지를 유지한채로 업스케일

* Inpaint - 마스킹 설정한 곳 이미지 재생성
- 이미지 크게 한후 마스킹하는 방법으로 Outpainting도 가능

* IP2P - Pix2Pix, 기본이미지에 프롬프트의 내용을 추가 한다.
https://github.com/lllyasviel/ControlNet-v1-1-nightly/blob/main/README.md#controlnet-11-instruct-pix2pix


* Reference - 그림의 분위기는 유지되지만 전혀 다른 구성이 됨
- reference_only , reference_adain, reference_adain+attn
- 이미지상의 에러가 많음

* T2IA - 
https://ikuriblog.com/how-to-use-controlnet-with-stable-difussion-web-ui/#toc22
color_grid - 색추출해서 이미지를 재구성
sketch_pidi - 윤곽선 추출
style_clipvision - 스타일 정보(색조, 텍스쳐)를 추출



//-------------------------------------
그림 형태유지하면서 분위기 변경
Canny, Lineart, Scribble, SoftEdge
Tile

그림 확장
Inpaint