SD ControlNet 사용법 - control Type 리스트 정리
ControlNet
https://github.com/lllyasviel/ControlNet
Stable Diffusion Automatic1111 WebUI extension for ControlNet
https://github.com/Mikubill/sd-webui-controlnet
ControlNet v1.1: A complete guide
https://stable-diffusion-art.com/controlnet/
ControlNet v1.1 모델
https://huggingface.co/lllyasviel/ControlNet-v1-1
- SDXL용 모델
https://huggingface.co/SargeZT
//-----------------------------------------------------------------------------
control Type
* Canny - Canny edge detection
- 윤곽선 검출, 생물
* Depth - depth map
- 구분이 확실한 이미지에서 효과
* Normal - normal map
- 구분이 확실한 이미지에서 효과
* OpenPose - 인간 동작와 표정 인식
* MLSD - M-LSD straight line detection
- 직선이 많은 건물이나 공간
* Lineart - Anime Line Drawing
* SoftEdge - 이전 HED를 개선한 버전, 부드러운 윤곽선 검출
SoftEdge_PIDI 사용 권장
* Scribble - 사용자 스케치를 이용한 생성, 그림에서 스케치 인식 추출
* Seg - Semantic Segmentation
- 윤곽과 범위 인식, 건물, 풍경에 적용
* Shuffle - 이미지를 혼합해서 비슷한 분위기의 전혀 다른 이미지 생성
* Tile - 업스케일링에 사용
'Ultimate SD upscale'등과 함께 사용해서 원본이미지를 유지한채로 업스케일
* Inpaint - 마스킹 설정한 곳 이미지 재생성
- 이미지 크게 한후 마스킹하는 방법으로 Outpainting도 가능
* IP2P - Pix2Pix, 기본이미지에 프롬프트의 내용을 추가 한다.
https://github.com/lllyasviel/ControlNet-v1-1-nightly/blob/main/README.md#controlnet-11-instruct-pix2pix
* Reference - 그림의 분위기는 유지되지만 전혀 다른 구성이 됨
- reference_only , reference_adain, reference_adain+attn
- 이미지상의 에러가 많음
* T2IA -
https://ikuriblog.com/how-to-use-controlnet-with-stable-difussion-web-ui/#toc22
color_grid - 색추출해서 이미지를 재구성
sketch_pidi - 윤곽선 추출
style_clipvision - 스타일 정보(색조, 텍스쳐)를 추출
//-------------------------------------
그림 형태유지하면서 분위기 변경
Canny, Lineart, Scribble, SoftEdge
Tile
그림 확장
Inpaint