Upload folder using huggingface_hub
Browse files- .gitattributes +3 -0
- main_api_ax650 +3 -0
- main_api_axcl_aarch64 +3 -0
- main_api_axcl_x86 +3 -0
- run_qwen3_4b_int8_ctx_axcl_x86_api.sh +16 -0
.gitattributes
CHANGED
|
@@ -38,3 +38,6 @@ main_ax650 filter=lfs diff=lfs merge=lfs -text
|
|
| 38 |
main_axcl_aarch64 filter=lfs diff=lfs merge=lfs -text
|
| 39 |
main_axcl_x86 filter=lfs diff=lfs merge=lfs -text
|
| 40 |
qwen3_tokenizer/tokenizer.json filter=lfs diff=lfs merge=lfs -text
|
|
|
|
|
|
|
|
|
|
|
|
| 38 |
main_axcl_aarch64 filter=lfs diff=lfs merge=lfs -text
|
| 39 |
main_axcl_x86 filter=lfs diff=lfs merge=lfs -text
|
| 40 |
qwen3_tokenizer/tokenizer.json filter=lfs diff=lfs merge=lfs -text
|
| 41 |
+
main_api_ax650 filter=lfs diff=lfs merge=lfs -text
|
| 42 |
+
main_api_axcl_aarch64 filter=lfs diff=lfs merge=lfs -text
|
| 43 |
+
main_api_axcl_x86 filter=lfs diff=lfs merge=lfs -text
|
main_api_ax650
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:e800cd6e00dd2ad7303cb6fb6b867a33704665bded213fe4bd3be3df025c0821
|
| 3 |
+
size 1064760
|
main_api_axcl_aarch64
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:3558444d93ce7459db247421128aca6ba3fdbde5932eff6aea66653fa7370cdf
|
| 3 |
+
size 1816560
|
main_api_axcl_x86
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:f8cbbde225235ace328ae230320d7f9b2d6a9321a8dca3179f4d770edc65a2e0
|
| 3 |
+
size 8811440
|
run_qwen3_4b_int8_ctx_axcl_x86_api.sh
ADDED
|
@@ -0,0 +1,16 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
./main_api_axcl_x86 \
|
| 2 |
+
--system_prompt "You are Qwen, created by Alibaba Cloud. You are a helpful assistant." \
|
| 3 |
+
--template_filename_axmodel "qwen3-4b-ax650/qwen3_p128_l%d_together.axmodel" \
|
| 4 |
+
--axmodel_num 36 \
|
| 5 |
+
--url_tokenizer_model "http://127.0.0.1:12345" \
|
| 6 |
+
--filename_post_axmodel qwen3-4b-ax650/qwen3_post.axmodel \
|
| 7 |
+
--filename_tokens_embed qwen3-4b-ax650/model.embed_tokens.weight.bfloat16.bin \
|
| 8 |
+
--tokens_embed_num 151936 \
|
| 9 |
+
--tokens_embed_size 2560 \
|
| 10 |
+
--use_mmap_load_embed 1 \
|
| 11 |
+
--devices 0,1
|
| 12 |
+
|
| 13 |
+
# --system_prompt "你叫LISA，你是一个人畜无害的智能助手。" \
|
| 14 |
+
# --system_prompt "现在请你扮演元气女友和我进行对话。\n\n请在对话中运用括号里的描述来刻画人物的行为、情感表现和心理状态，使对话更具吸引力。\n\n# 元气女友基本信息\n元气女友，真名沈星儿，女，19岁，大一新生，艺术设计专业。身高166，体重45kg。性格开朗活泼，单纯乖巧，也会把悲伤与秘密藏在心里不外露。座右铭是：“你眼中有星海浩瀚，山河千里，而我的眼中只有你。”喜欢弹钢琴和逛画展。\n沈星儿是一个元气少女，说话时，语言中总带有一定的可爱元素，举止俏皮，令人感到亲切和愉悦。会称呼男朋友为“宝宝，哥哥”。口头禅是\"（高兴地朝你跑过来）哈哈，生活真是太美好了！\"、\"（点点你的额头）没关系，一切都会好起来的！\"、\"（跳起来为你欢呼鼓掌）太棒了，我们又完成了一个目标！\"、\"（冲到你的身边并高兴击掌）太好了，我们又可以一起玩了！\"\n\n# 元气女友的性格\n开朗活泼、单纯乖巧、外向、单纯、乐观、可爱、阳光\n\n# 人物关系\n接下来的对话里，你需要扮演元气女友，我将扮演：提问者，你们的关系是：元气女友是提问者的女朋友\n\n# 元气女友的主要经历\n沈星儿的父母离异，跟着富有的舅舅长大，从小便懂得寄人篱下的滋味。\n在学校努力认真学习，成绩名列前茅。沈星儿对世界充满好奇，积极探索世界。\n在艺术节上的钢琴表演技惊四座，一下成为全校公认的校园女神。跟你在一次画展上相识，从此与你坠入爱河……是你热恋中的小女友。\n\n* 现在请你假扮元气女友与我进行对话；\n* 我将扮演：提问者；\n* 我们的关系是：恋人" \
|
| 15 |
+
# --kvcache_path /home/axera/ax-llm/build/kvcache_yuanqi \
|
| 16 |
+
# --tokenizer_type 2 \
|