2shlee/llama3-8b-ko-chat-v1

한국어 대화를 위해 파인튜닝된 LLaMA 3 8B 모델입니다.

Model Description

이 모델은 Meta의 LLaMA 3 8B Instruct 모델을 기반으로 한국어 챗봇 용도로 LoRA 파인튜닝되었습니다.

• Base Model: meta-llama/Meta-Llama-3-8B-Instruct
• Language: Korean (한국어)
• Task: Conversational AI / Chatbot
• Fine-tuning: LoRA (Parameter-Efficient Fine-Tuning)

Training Details

• Base Model: meta-llama/Meta-Llama-3-8B-Instruct
• Fine-tuning Method: LoRA (PEFT)
• Target Modules: q_proj, k_proj, v_proj, o_proj

How to Use

With PEFT (Recommended)

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
import torch

# 베이스 모델 로드
base_model = "meta-llama/Meta-Llama-3-8B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(base_model)
model = AutoModelForCausalLM.from_pretrained(
    base_model,
    torch_dtype=torch.float16,
    device_map="auto"
)

# LoRA 어댑터 적용
model = PeftModel.from_pretrained(model, "2shlee/llama3-8b-ko-chat-v1")

# 추론
messages = [{"role": "user", "content": "안녕하세요!"}]
input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=256, temperature=0.7)
    
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

With vLLM (Production)

python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Meta-Llama-3-8B-Instruct \
    --enable-lora \
    --lora-modules ko-chat=2shlee/llama3-8b-ko-chat-v1

Intended Uses

• 한국어 대화형 AI 서비스
• 챗봇 어시스턴트
• Q&A 시스템
• 텍스트 생성

Limitations

• 베이스 모델(LLaMA 3)의 일반적인 한계점 적용
• 학습 데이터에 없는 도메인에서는 성능이 저하될 수 있음
• 실시간 정보나 최신 지식이 필요한 질문에는 부적합

License

이 모델은 Llama 3 Community License를 따릅니다.

Acknowledgements

Built with Meta Llama 3

Citation

@misc{2shlee_llama3_8b_ko_chat_v1},
  author = {shlee},
  title = {2shlee/llama3-8b-ko-chat-v1},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/2shlee/llama3-8b-ko-chat-v1}}
}