text-generation-webui 사용법

https://huggingface.co/microsoft/phi-2
oobabooga / text-generation-webui
https://github.com/oobabooga/text-generation-webui - 3.3k

 

 

//-----------------------------------------------------------------------------

text-generation-webui 사용법

https://github.com/oobabooga/text-generation-webui

git clone https://github.com/oobabooga/text-generation-webui

cd text-generation-webui

   - 실행 batch 파일 (참고 conda)
cmd_windows.bat - 명령어 환경
update_wizard_windows.bat - app 업데이트
start_windows.bat - app 시작

 

    - 브라우저로 접속
http://127.0.0.1:7860

 

    - 모델 다운로드
model 탭 -> 우측 패널에서 Download 탭 -> Download model or LoRA 항목에 주소 입력

        - 예) phi-2의 경우 huggingface 저장소소 주소 : https://huggingface.co/microsoft/phi-2   ->   microsoft/phi-2 입력

 

//-------------------------------------

< 참고 > 
python 가상 환경 conda 사용법
https://codens.tistory.com/2462

- 가상 환경 conda 시작
$ conda activate  .\installer_files\env

- conda 환경에서 나가기
$ conda deactivate

 

 

//-----------------------------------------------------------------------------

* 참고 - old 사용법
//-------------------------------------
* 설치(WSL)
conda create -n textgen python=3.10
conda activate textgen

    - pytorch 설치
conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia

        - 또는 다음 방법도 가능(v2.0이 설치되는데 정상 작동)

conda install cuda pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia/label/cuda-11.7.0

 

git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements.txt


    - 참고, wsl에서 윈도우 models 폴더 링크
ln -s /mnt/e/AI/text-generation-webui/models models/md

//-------------------------------------

    - 모델 다운로드 정보

 

https://aituts.com/llama/
https://rentry.org/llama-tard-v2

 

 

//-------------------------------------
    - 실행
python server.py --model gpt-j-6B    <==  로딩 3분
python server.py --model llama-7b-hf 
python server.py --model llama-7b-hf --load-in-8bit


//-----------------------------------------------------------------------------
< 에러 처리 >

> python server.py  --model llama-7b-hf 실행시 에러

    - 에러 메시지
ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.

    - 해결 방법

\text-generation-webui\models\llama-7b-hf\tokenizer_config.json 파일 수정
LLaMATokenizer  --->  LlamaTokenizer



//-------------------------------------
    - 에러 메시지
CUDA SETUP: WARNING! libcuda.so not found!

    - 해결 방법
echo $LD_LIBRARY_PATH #환경변수 확인
sudo find /usr/ -name 'libcuda.so.*' # 파일 경로 찾기
export LD_LIBRARY_PATH=/usr/lib/wsl/lib # 찾은 경로 설정


//-------------------------------------
    -에러 발생
EnvironmentLocationNotFound: Not a conda environment: /home/ubuntu/anaconda3/envs/vidia

    - 원인 해결
pytorch 설치 명령어 끝이  -c nvidia 라야 하는데  -nvidia 라서 생긴 현상, pytorch 사이트에서 복사했는데 생긴 오류?