안녕하세요. 그림작가 Softknock Rhee 입니다.
요즘 AI art 가 크게 유행처럼 번지고 있는데요. 대표적인 AI art 제너레이터로는 Dali, Midjourney, Stable Diffusion 등이 있습니다. AI art에 대한 긍정적인 관점과 부정적인 관점 사이에서 그래도 이것이 어떤 것인지 알아야 스스로 판단하실 수 있으리라는 생각으로 이 글을 작성합니다.
그 중 오픈소스(Opensource)이며, 무료로 PC에 설치하여 모든 기능을 사용할 수 있는 Stable Diffusion의 사용방법을 이 블로그를 통해서 모두 설명 드리고자 합니다.
Colab에서 맛보기식으로 AI art 이미지 생성을 진행할 수는 있지만, 제대로된 실행감과 여러가지 주요한 설정들을 직접 하기 위해서는 PC에 설치하여 안정적으로 진행하시는 것을 강력히 추천드립니다.
저의 PC의 사양은 다음과 같습니다.
- CPU : 12th Gen Intel(R) Core(TM) i3-12100F 3.30 GHz
- RAM : 16.0GB(15.8GB 사용 가능)
- Graphic : NVIDIA GeForce RTX 2060 12GB
전체적으로 어떤 구조를 가지고 활용할 수 있는지 말씀드리면서 실습도 병행하여서 여러분들도 바로 적용하며 이해할 수 있도록 노력하겠습니다.
Stable Diffusion 첫 실행 화면
처음 Stable Diffusion을 설치하고 설치된 폴더에서 webui-user.bat 를 실행시키고 크롬이나 기타 인터넷 익스플로러에서 http://127.0.0.1:7860/으로 접속하게 되면 아래와 같은 첫 실행 화면을 볼 수 있습니다.(위의 링크의 설치하는 방법은 모두 테스팅 되었으며 정말 간결하고 잘 설명이 되어 있습니다. 이 자리를 빌어 해당 설명글을 올려 주신 분께 깊은 감사를 드립니다.)
Stable Diffusion 의 메뉴 설명
1. Stable Diffusion checkpoint : 기본 AI 모델을 선택할 수 있는 컨트롤바
가장 상단에 Stable Diffusion checkpoint에서는 AI 모델을 선택할 수 있습니다. 설치하기를 통해서 설치 후 다운 받은 모델인 sd-v1.4.ckpt가 나타날 수도 있으며, 이것의 파일명을 model.ckpt로 바꾸었다면 model.ckpt으로 나타날 수도 있습니다. 저는 model.ckpt 으로 이름을 변경하였기 때문에 다음과 같이 나오게 됩니다.
새로운 모델을 Stable Diffusion이 설치된 폴더인 stable-diffusion-webui 폴더의 하위폴더인 models 폴더의 하위폴더인 Stable-diffusion 폴더에 위치시키고 webui-user.bat 를 실행시키는것 만으로 로딩되어 새로운 모델을 로딩하여 사용할 수 있습니다. 아래의 주소 중 앞 부분은 Stable Diffusion을 어느 곳에 설치했느냐에 따라서 달라질 것입니다.
C:\Users\softk\AI art\SD\stable-diffusion-webui\models\Stable-diffusion
참고로 checkpoint란 학습된 모델의 변수 값을 저장하는 파일을 말합니다. 정적인 값이 아니라 변수이기 때문에 Stable Diffusion에서 유동적으로 받아들여 사용할 수 있는 것입니다. 그리고 2개의 모델을 비율조정을 통하여 병합시키는 기능인 Checkpoint Merger 탭의 기능을 사용하여 새로운 방법으로 AI art 모델을 만들고 그것으로 새로운 형태의 이미지를 생성할 수도있습니다.
2. Stable Diffusion tabs
txt2img
프롬프트(Prompt)라고 흔히 이야기하는 텍스트들의 조합으로 이미지를 생성할 수 있는 탭입니다. 처음 프롬프트에 대한 사전지식이나 경험 없이 임의의 생각나는 프롬프트를 넣으면, 실망하기 쉽습니다. 인터넷을 통해서 봐왔던 멋있는 AI art 이미지가 나오지 않기 때문이죠. 그래서 저는 https://lexica.art/ 라는 곳에서 자신이 생성하고 싶은 이미지를 골라서 공유되어 있는 프롬프트를 복사하여 그대로 넣어보시라고 권하고 싶습니다. 그렇게 하다보면 여러 새로운 조합을 작성해 보고 싶어지고, 자신만의 조합으로 할 수도 있게 됩니다.
3. Prompt : 텍스트를 이미지로 생성시키는 실습
텍스트를 이미지로 생성시키는 첫번째 실습을 여기서 진행해 보겠습니다.
1. 먼저 https://lexica.art/ 으로 이동하여 자신이 원하는 이미지를 고르고, 클릭하여 프롬프트를 복사합니다.
2. 그 후 Prompt 란에 복사한 프롬프트를 붙여넣기 합니다. Stable Diffusion에서는 얼마든지(메뉴얼에서는 75개의 토큰으로 제한된다고 하였으나 그 이상도 잘 됩니다.) 그리고 무엇이든지 적을 수 있습니다. 저는 우선 아래와 같은 프롬프트를 복사하여 붙여넣기 해 보았습니다.
rapunzel with long gold hair magic, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, art by artgerm and greg rutkowski and alphonse mucha and william - adolphe bouguereau
3. 우측에 Generate 버튼을 클릭합니다.
4. 그러면 AI art 이미지의 생성이 아래 이미지와 같이 진행되는 것을 확인할 수 있습니다.
5. 완료되면 다음과 같은 결과가 보여집니다. 여러분들이 선택하신 프롬프트에 따라서 다른 결과들이 나올 수 있을 것입니다.
6. 한개의 AI art 이미지 결과가 만족스럽지 않네요. 그래서 여러개의 결과를 설정하여 한번에 뽑아보도록 하겠습니다.
우선 창의 중간에 있는 batch size를 최대치인 8로 설정하고 Generate 버튼을 클릭하겠습니다.
7. 그러면 다음과 같이 8개의 결과물을 얻을 수 있습니다.
만족스러운 그림이 있으신가요? ^^
간단하게 실습을 해 보았는데요. 여기서 각 이미지는 아래에서 설명 드리겠지만, Settings tab에 Saving images/grids 부분에서 디폴트값으로 자동저장이 체크되어 있기 때문에, 설정된 해당 폴더에 자동으로 저장되게 되어 있습니다. 그리고 여러 설정을 통하여 여러 형식의 저장되는 곳을 선택할 수도 있습니다.
우선 여러 이미지를 보고 마음에 드는 이미지를 upscaling 하는 기법도 아래에서 설명드리겠지만, 그 기법은 Extras tab에서 제공해 줍니다. 그리고 저의 PC 사양에서 지금 실습중인 탭인 txt2img에서 중간 부분이 있는 width와 height를 2048로 하게되면 꽤 오랜 시간이 걸리네요. 그러니까 PC의 사양에 따라서는 먼저 여러 이미지를 만들어 보시고 보기에 좋은 이미지를 분별한 후 따로 upscaling 하는 것을 추천드립니다.
5. Sampling Steps & Sampling method
Prompt 박스 바로 아래에는 Sampling Steps와 Sampling method가 있습니다. 이 부분에 대해서 말씀드릴 수 있는 것은 Sampling Steps를 높게 한다고 해서 보다 보기 좋은 이미지가 출력되는 것이 아니라는 것입니다. 각 사람의 취향에 따라서 Sampling Steps와 Sampling method를 이리저리 바꿔가면서 이미지들을 출력할 수 있을것입니다. 경험적으로 어떤 method를 쓰니 어떤 이미지가 출력되더라 라고 알아가는 시간이 필요할 것 같습니다. 또한 이미 이러한 설정을 조절했을때에 어떤식의 이미지가 나오는지 알려주는 사이트도 있지만, 그러한 사이트를 보고 하다보면 쉽게 적용이 안되는 부분이 있어서 질리게 됩니다. 그래서 차라리 스스로 감을 찾아가시라고 말씀을 드리고 싶습니다.
위에서 말씀드린 Stable Diffusion checkpoint에서의 AI art 모델을 바꿀 때마다 크게 이미지의 성향이 바뀝니다. 그리고 그 하위에서 이 method 및 여러 중요한 하위의 설정들을 통해서 바꾸면서 작은 컨트롤들을 할 수 있습니다. 한번 여러 method를 선택하고 실행시켜 보시고, steps을 조절하여 이미지의 모습이 바뀌는 것을 경험 해 보세요. AI art 모델도 마찬가지구요.
아래의 표는 Sampling steps를 50에 맞춘 후 13개의 Sampling method 를 각각 선택하며 이미지를 생성한 것입니다.
| Euler a |  |
DPM fast |  |
| Euler |  |
DPM adaptive |  |
| LMS |  |
LMS Karras |  |
| Heun |  |
DPM2 Karras |  |
| DPM2 |  |
DPM2 a Karras |  |
| DPM2 a |  |
DDIM |  |
| PLMS |  |
그리고 Stable Diffusion은 AI art model 이나 method를 통해서만 조절할 수 있는 것이 아니고, embeddings 라는 폴더에 .pt 파일이나 .bin 파일을 넣어서 자기가 학습시킨 성향을 적용할 수 있습니다. 이것이 바로 작가 개인의 화풍을 넣을 수 있는 방법 중 하나라고 말씀 드릴 수 있을 것 같습니다.
Stable Diffusion으로 생성되는 모든 이미지는 Settings tab에서 지정한 곳에 저장되어 집니다. 디폴트 값으로 설치된 폴더의 outputs라는 폴더에 모두 저장되게 되어져 있습니다.