Comments (8)
TonyLianLong
commented on May 19, 2024
What is your setting? It works on my end.
To create a public link, set `share=True` in `launch()`.
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:30<00:00, 1.62it/s]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:13<00:00, 1.15it/s]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:23<00:00, 2.10it/s]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:08<00:00, 1.85it/s]
from stable-diffusion-xl-demo.
TonyLianLong
commented on May 19, 2024
Seems that the decoder VAE on the refiner is somehow not fp16. Did you change any config? You can also disable refiner to see if it still happens.
from stable-diffusion-xl-demo.
densechen
commented on May 19, 2024
PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:512 SDXL_MODEL_DIR=pretrained_models OFFLOAD_BASE=false OFFLOAD_REFINER=false python app.py
Dense Chen
***@***.***
…------------------ Original ------------------
From: "TonyLianLong/stable-diffusion-xl-demo" ***@***.***>;
Date: Fri, Aug 18, 2023 11:05 AM
***@***.***>;
Cc: "Dense ***@***.******@***.***>;
Subject: Re: [TonyLianLong/stable-diffusion-xl-demo] RuntimeError: Input type (c10::Half) and bias type (float) should be the same (Issue #7)
What is your setting? It works on my end.
To create a public link, set `share=True` in `launch()`. 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:30<00:00, 1.62it/s] 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:13<00:00, 1.15it/s] 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:23<00:00, 2.10it/s] 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:08<00:00, 1.85it/s]
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>
from stable-diffusion-xl-demo.
TonyLianLong
commented on May 19, 2024
Seems like it still works if the models are not offloaded.
$ OFFLOAD_BASE=false OFFLOAD_REFINER=false python app.py
Loading model stabilityai/stable-diffusion-xl-base-1.0
Loading pipeline components...: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:01<00:00, 3.92it/s]
Loading model stabilityai/stable-diffusion-xl-refiner-1.0
Loading pipeline components...: 20%|███████████████████████████████ | 1/5 [00:00<00:01, 2.55it/s]
Loading pipeline components...: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:01<00:00, 4.18it/s]
Running on local URL: http://127.0.0.1:7860
To create a public link, set `share=True` in `launch()`.
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:06<00:00, 7.44it/s]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00, 7.47it/s]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [00:06<00:00, 7.70it/s]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:01<00:00, 7.72it/s]
from stable-diffusion-xl-demo.
TonyLianLong
commented on May 19, 2024
Since you loaded custom weights, it's possible that somehow fp32 weights are loaded. You probably want to check whether you have fp16 weights (https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main/vae).
If you loaded fp32 weights, you can add refiner.to(torch.float16) to cast the model parameters to fp16.
from stable-diffusion-xl-demo.
densechen
commented on May 19, 2024
Seems that the decoder VAE on the refiner is somehow not fp16. Did you change any config? You can also disable refiner to see if it still happens.
I have disabled refiner via PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:512 SDXL_MODEL_DIR=pretrained_models OFFLOAD_BASE=false ENABLE_REFINER=false python app.py, failed to solve this issue.
from stable-diffusion-xl-demo.
densechen
commented on May 19, 2024
It seems like that. A minor modification maybe required to make this repo more robust.
from stable-diffusion-xl-demo.
TonyLianLong
commented on May 19, 2024
Since I could not reproduce this, could you show me your diff?
from stable-diffusion-xl-demo.
Related Issues (8)
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from stable-diffusion-xl-demo.