text-generation-webui 사용법

AI 2023. 3. 21. 06:03


oobabooga / text-generation-webui
https://github.com/oobabooga/text-generation-webui - 3.3k

//-------------------------------------
* 설치(WSL)
conda create -n textgen python=3.10
conda activate textgen

    - pytorch 설치
conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia

        - 또는 다음 방법도 가능(v2.0이 설치되는데 정상 작동)

conda install cuda pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia/label/cuda-11.7.0

 


git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements.txt


    - 참고, wsl에서 윈도우 models 폴더 링크
ln -s /mnt/e/AI/text-generation-webui/models models/md

//-------------------------------------

    - 모델 다운로드 정보

 

https://aituts.com/llama/
https://rentry.org/llama-tard-v2

 

 

//-------------------------------------
    - 실행
python server.py --model gpt-j-6B    <==  로딩 3분
python server.py --model llama-7b-hf 
python server.py --model llama-7b-hf --load-in-8bit


//-----------------------------------------------------------------------------
< 에러 처리 >

> python server.py  --model llama-7b-hf 실행시 에러

    - 에러 메시지
ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.

    - 해결 방법

\text-generation-webui\models\llama-7b-hf\tokenizer_config.json 파일 수정
LLaMATokenizer  --->  LlamaTokenizer



//-------------------------------------
    - 에러 메시지
CUDA SETUP: WARNING! libcuda.so not found!

    - 해결 방법
echo $LD_LIBRARY_PATH #환경변수 확인
sudo find /usr/ -name 'libcuda.so.*' # 파일 경로 찾기
export LD_LIBRARY_PATH=/usr/lib/wsl/lib # 찾은 경로 설정


//-------------------------------------
    -에러 발생
EnvironmentLocationNotFound: Not a conda environment: /home/ubuntu/anaconda3/envs/vidia

    - 원인 해결
pytorch 설치 명령어 끝이  -c nvidia 라야 하는데  -nvidia 라서 생긴 현상, pytorch 사이트에서 복사했는데 생긴 오류?


반응형

'AI' 카테고리의 다른 글

파이토치(PyTorch) 설치 방법 (Nvidia CUDA용)  (0) 2023.04.01
(Meta AI) LLaMA 4bit 실행 방법  (0) 2023.03.22
(Meta AI) LLaMA 사용법  (0) 2023.03.21
GPT-J 사용법  (0) 2023.03.03
[AI 음악] Riffusion 사용법  (0) 2023.02.26
Posted by codens

댓글을 달아 주세요