Transformers documentation
๐ค Transformers์ ๊ธฐ์ฌํ๊ธฐ
๐ค Transformers์ ๊ธฐ์ฌํ๊ธฐ
๊ธฐ์ฌ ๊ท์น
PR์ ์ด ์ ์๋ ๋ฐฉ๋ฒ์ ๋ ๊ฐ์ง์ ๋๋ค. ๊ธฐ์ฌ๊ฐ ๊ฐ๋ฅํ ์ํ์ ์ด์๋ฅผ ์์ ํ๊ฑฐ๋, ์์ฒด ๊ทผ๊ฑฐ๋ฅผ ๊ฐ์ถ ๋ ๋ฆฝ์ ์ธ PR์ ์ฌ๋ ๊ฒ์ ๋๋ค. ์๋ก์ด ๋ชจ๋ธ๋ ๋ ๋ฆฝ์ ์ธ PR์ ํตํด ์ถ๊ฐํ ์ ์์ผ๋ฉฐ, ์๋ก์ด ๋ชจ๋ธ ์ถ๊ฐ๋ฅผ ์ฐธ๊ณ ํ์ธ์. Hugging Face ์ง์, ์ ์ง๋ณด์์ ๋ฐ ์ผ๋ถ ์ฅ๊ธฐ ๊ธฐ์ฌ์๋ ์ด๋ฌํ ๊ท์น์ ์ ์ฉ ๋์์์ ์ ์ธ๋ฉ๋๋ค.
์ด์ ์์ . PR ์ค๋ช
์ Fixes #123๊ณผ ๊ฐ์ ์ข
๋ฃ ํค์๋๋ฅผ ํฌํจํ์ฌ ์ด์๋ฅผ ์ฐ๊ฒฐํ์ธ์. ๋ค์ ์์
์ ์ํํ ์ ์์ต๋๋ค:
- ์ ์ง๋ณด์์๊ฐ
triaged๋ผ๋ฒจ์ ๋ถ์ธ ํ, ๋น์ ์ด ๋ง๋ ์ด์ contributions-welcome๋ผ๋ฒจ์ด ๋ถ์ ์ด์New model๋ผ๋ฒจ์ด ๋ถ์ ์ด์๋ฅผ ํ์ธํ์ธ์. ์ ๋ชจ๋ธ ์ถ๊ฐ
์ ์ง ๊ด๋ฆฌ์๊ฐ ๋ช ์์ ์ผ๋ก ํ์ฉํ์ง ์๋ ํ, ๋ค๋ฅธ ์ฌ๋์ ์ด์๋ PR์ ์ด ์ ์์ต๋๋ค. ์์ ํ ์ ์๋ ์ด์๋ฅผ ๋งํฌํ PR์ ํ๊ธฐ๋ฉ๋๋ค.
์๊ฒฉ์ด ๋๋ ์ด์๋ฅผ ์์ ํ๊ธฐ ์ ์ ํ๋ฝ์ ๊ตฌํ ํ์๊ฐ ์์ผ๋ฉฐ, ์ด์๋ฅผ ํน์ ์ธ์๊ฒ ๋ฐฐ์ ํ์ง ์์ต๋๋ค. โ์ด๊ฒ์ ์์ ํด๋ ๋ ๊น์?โ ๋๋ โ์ด๊ฒ์ ์ ๊ฒ ๋ฐฐ์ ํด ์ฃผ์ธ์โ์ ๊ฐ์ ์ฝ๋ฉํธ๋ ๋ถํ์ํ ๋ ธ์ด์ฆ๋ง ์ถ๊ฐํ๋ฏ๋ก ์๋ตํ๊ณ PR์ ์ด์ด ์ฃผ์ธ์. ํด๋น ์ด์์ ๋ํ ์ฒซ ๋ฒ์งธ PR์ด ์ฐ์ ์์๋ฅผ ๊ฐ์ต๋๋ค.
contributions-welcome ๋๋ New model ์ด์๋ฅผ ์์
ํ๊ธฐ ์ ์ ์ด๋ฏธ ๋๊ตฐ๊ฐ๊ฐ ํด๋น ์ด์์ ๋ํ PR์ ์ด์๋์ง ํ์ธํ์ธ์. ์ด๋ฏธ PR์ด ์ด๋ ค ์๋ค๋ฉด ๋ค๋ฅธ PR์ ์ด์ง ๋ง์ธ์. ์ค๋ฅ๋ฅผ ๋ฐ๊ฒฌํ๋ค๋ฉด ๊ธฐ์กด PR์ ์์ ์ ์์ ๋จ๊ธฐ์ธ์. ๊ธฐ์กด PR์ด ๊ทผ๋ณธ์ ์ผ๋ก ๊ฒฐํจ์ด ์๊ฑฐ๋ ๋ฐฉ์น๋ ์ํ์ผ ๋๋ง ๊ฒฝ์ PR์ ์ด ์ ์์ต๋๋ค. ๋ฐฉ์น๋ ์ํ๋, ์ ์๊ฐ ๋ฆฌ๋ทฐ ์ฝ๋ฉํธ์ ์๋ตํ์ง ์๊ฑฐ๋ 2์ฃผ ๋์ ๋ณ๊ฒฝ ์ฌํญ์ pushํ์ง ์์ ๊ฒฝ์ฐ๋ฅผ ์๋ฏธํฉ๋๋ค. ์ ์ง๋ณด์์์ ๋ฆฌ๋ทฐ๋ฅผ ๊ธฐ๋ค๋ฆฌ๊ณ ์๋ PR์ ๋ฐฉ์น๋ ์ํ๋ก ๊ฐ์ฃผ๋์ง ์์ต๋๋ค. ์ด๋ค ๊ฒฝ์ฐ๋ , ์์ ์ PR์ ์ด๊ธฐ ์ ์ ์ด์์์ ๊ทธ ์ด์ ๋ฅผ ์ค๋ช
ํ์ธ์.
๋ ๋ฆฝ PR. ์์ง ์๋ฌด๋ ๋ฌธ์ ๋ฅผ ๋ณด๊ณ ํ์ง ์์๋ค๋ฉด, ์ด์ ์์ด PR์ ์ด ์ ์์ต๋๋ค. ๋ ๋ฆฝ PR์ ๋ฒ๊ทธ ์์ , ์ฑ๋ฅ ๊ฐ์ , ๋ฌธ์์ ๊นจ์ง ์์ ์์ ์ฒ๋ผ ์ค์ ์ํฅ์ด ์๋ ์งง์ ๋ณ๊ฒฝ ์ฌํญ์ ์ฌ์ฉ๋ฉ๋๋ค. PR ์ค๋ช ์๋ ์ด์์ ๋์ผํ ๊ทผ๊ฑฐ๊ฐ ํ์ํฉ๋๋ค:
- ๋ฒ๊ทธ์ ๋ํด, ๊ณต๊ฐ๋ ์ฒดํฌํฌ์ธํธ, ๊ธฐ๋ณธ ์ค์ ๋๋ ๋ฌธ์ํ๋ ์ํฌํ๋ก์ฐ๋ฅผ ์ฌ์ฉํ์ฌ
main์์ ์คํจํ๊ณ ์์ ์ฌํญ์ด ์ ์ฉ๋๋ฉด ํต๊ณผํ๋ ์งง์ ์คํฌ๋ฆฝํธ - ์ฑ๋ฅ ํฅ์์ ์ ์ฆํ๋ ค๋ฉด, ๊ณต๊ฐ๋ ์ฒดํฌํฌ์ธํธ๋ ๊ธฐ๋ณธ ์ค์ ๊ณผ ๊ฐ์ ํ์ค์ ์ธ ์ํฌ๋ก๋์์ ์คํ ์ ํ์ ์์น์ ์คํ์ ์ฌ์ฉํ ํ๋์จ์ด๋ฅผ ๋ช ์ํด์ผ ํฉ๋๋ค. ํซ ํจ์ค์ ์๋ ํจ์์ ๋ ๋น ๋ฅธ ๋ง์ดํฌ๋ก๋ฒค์น๋งํฌ๋ ์ธ์ ๋์ง ์์ต๋๋ค.
ํด๋น ๋ฌธ์ ์ ๋ํ ์ด์๊ฐ ์ด๋ฏธ ์กด์ฌํ๋ ๊ฒฝ์ฐ, PR์ ๋งํฌํ๋ ํ์ง ์๋ ํด๋น ์ด์๋ฅผ ํตํด ์งํ๋ฉ๋๋ค. ๊ธฐ์กด ์ด์๋ฅผ ์์ ํ๋ ๋จ๋ PR์ด๊ฑฐ๋ ์ฆ๊ฑฐ๊ฐ ์๋ PR์ ํ๊ธฐ๋ฉ๋๋ค. ์ด๋ฌํ ์๊ตฌ ์ฌํญ์ ์๋ก์ด ๋ชจ๋ธ์๋ ์ ์ฉ๋์ง ์์ต๋๋ค.
์ด์๊ฐ ๋จผ์ ํ์ํ ๋ณ๊ฒฝ ์ฌํญ. ์ ํ์ฑ์ด๋ ์ฑ๋ฅ์ ์ํฅ์ ์ฃผ์ง ์๋ ๊ธฐ๊ณ์ ์ ๋ฆฌ ์์ , ๋ฌธ์์ ์คํ๋ ํํ ์ผ๊ด ์์ ์ PR์ ์ด๊ธฐ ์ ์ ์ด์๋ฅผ ๋จผ์ ์์ฑํด์ผ ํฉ๋๋ค. ๋ณ๊ฒฝ ์ฌํญ, ๊ตฌํ ๋ฐฉ๋ฒ, ์ํฅ์ ๋ฐ๋ ํ์ผ ์๋ฅผ ์ ์ํด ์ฃผ์ธ์. ๋จ์ผ ์คํ ์์ ์ ์ด๋ ๊ฒฝ๋ก์์๋ PR์ ์ด๊ธฐ์๋ ๋๋ฌด ์์ ์์ ์ ๋๋ค.
๋ค๋ฅธ ์ฌ๋์ PR ๊ฒํ . ์ปค๋ฎค๋ํฐ์ ๋ฆฌ๋ทฐ๋ ์๋ก์ด ์ ๋ณด๋ฅผ ์ ๊ณตํด ์ค ๋ ํ์ํ์ง๋ง, ์ ์ง๋ณด์์๋ PR์ ๋ชจ๋ ์ฝ๋ฉํธ๋ฅผ ์ฝ์ผ๋ฉฐ, ์ด๋ฏธ ์์ฒด ๋ฆฌ๋ทฐ ๋๊ตฌ๋ฅผ ์คํํ๊ณ ์์ต๋๋ค. ์์ ์ด ์ด์ง ์์ PR์ ์ฝ๋ฉํธ๋ฅผ ๋จ๊ธฐ๊ธฐ ์ ์, ๊ตฌ์ฒด์ ์ผ๋ก ์ธ๊ธํ ๋ด์ฉ์ด ์๋์ง ํ์ธํ์ธ์:
- ๋ฌธ์ ๋ฅผ ๋ฐ๊ฒฌํ๊ฑฐ๋ ๊ตฌ์ฒด์ ์ธ ๋ณ๊ฒฝ ์ฌํญ์ ์ ์ํ ๊ฒฝ์ฐ, ๊ด๋ จ ๋ผ์ธ์ ์ธ๋ผ์ธ ์ฝ๋ฉํธ๋ฅผ ๋จ๊ฒจ ์ฃผ์ธ์. ๊ฐ๋ฅํ๋ฉด ์ ์๊ฐ ๋ฐ๋ก ์ ์ฉํ ์ ์๋ GitHub suggestion ํ์์ผ๋ก ์์ฑํ๋ ๊ฒ์ด ์ข์ต๋๋ค. ๋ฒ๊ทธ๋ฅผ ๋ณด๊ณ ํ๋ ๊ฒฝ์ฐ ์ฌํ ์ฝ๋(reproducer)๋ฅผ ํจ๊ป ์ ๊ณตํ๋ฉด ๋์์ด ๋ฉ๋๋ค.
- PR์ด ์์ ํ๋ ๋ฌธ์ ๋ฅผ ๋ณด๊ณ ํ ๊ฒฝ์ฐ, ํด๋น PR์ด ์ฌ์ฉ์์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋์ง ์ฌ๋ถ๋ฅผ ๊ฐ๋จํ ์๋ ค์ฃผ๋ ๊ฒ์ด ๋งค์ฐ ์ ์ฉํฉ๋๋ค.
- ์ผ๋ฐ์ ์ธ ์์ฝ์ด๋ โ์ด๊ฒ์ ํ ์คํธํ๊ณ ์๋ํฉ๋๋คโ๋ผ๋ ๋ณด๊ณ ๋ ๊ฒ์ํ์ง ๋ง์ธ์. ์ ์ง๋ณด์์๊ฐ ์๋ ์ฌ๋์ ์น์ธ ์ฌ๋ถ๋ PR์ด ๋ณํฉ๋๋์ง์ ์ํฅ์ ์ฃผ์ง ์์ผ๋ฉฐ, PR ๋ด์ฉ์ ๋ฐ๋ณตํ๋ ๊ธด ์ฝ๋ฉํธ๋ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ๊พธ์ง ์์ผ๋ฉด์๋ ์๊ฐ์ ์๋ชจ์ํต๋๋ค.
์ฝ๋๋ฅผ ์์ฑํ๋ ๋ฐฉ์์ ์ฌ์ฉ์์ ์ฌ๋์ด์ง๋ง, ์ ์ถํ๋ ๋ชจ๋ ๋ด์ฉ์ ๋ํด ์ฑ ์์ด ์์ผ๋ฉฐ, ์ ํ์ง์ ์ด์๋ PR์ ๋ฐ๋ณต์ ์ผ๋ก ์์ฑํ๋ ๊ณ์ ์ ์ฐจ๋จ๋ ์ ์์ต๋๋ค. ๋ํ, ํ๋ ๊ฐ๋ น์ ์ค์ํด ์ฃผ์๊ธฐ ๋ฐ๋๋๋ค.
What we look for in issues and PRs
- ๋ฒ๊ทธ์ ๋ช ํํ ์ง๋จ. ๋น ๋ฅธ ์ฐํ์ฑ ์ ์ฝ๋ ๋ถํ๋ฆผ์ด๋ ๋ค๋ฅธ ๋ชจ๋ธ๊ณผ์ ํธํ์ฑ ๋ฌธ์ ๋ฅผ ์ผ์ผํฌ ์ ์์ต๋๋ค. ๋ฌธ์ ์ ์ ํํ ์์ธ์ ์ถ์ ํ๋ ๋ฐ ์๊ฐ์ ํฌ์ํ๋ ๊ฒ, ํนํ ํด๋น ๋ฌธ์ ๊ฐ ์ฒ์ ๋ฐ์ํ ์ปค๋ฐ์ ์ฐพ๋ ๊ฒ(์: git bisect ์ฌ์ฉ)์ ๋งค์ฐ ๊ฐ์น ์์ต๋๋ค.
- diff๋ฅผ ์ต์ํํ์ธ์. PR์ ํ์ธํ์ฌ ๋ถํ์ํ ๋ณ๊ฒฝ ์ฌํญ์ ์ ๊ฑฐํ์ธ์. ํ ์คํธ ์คํฌ๋ฆฝํธ๋ ๊ด๋ จ ์๋ ํ์ผ์ ์ปค๋ฐํ์ง ์์๋์ง ํ์ธํ์ธ์. ์ ๋ง๋ก ํ์ํ ๊ฒฝ์ฐ์๋ง ์ฃผ์์ ์ถ๊ฐํ์ธ์. PR์ด 1์ค ์์ ์ผ๋ก ํด๊ฒฐ๋ ์ ์๋ค๋ฉด, 1์ค ์์ ์ผ๋ก ๋ง๋์ธ์. ์ด๋ ๊ฒ ํ๋ฉด PR ๋ฆฌ๋ทฐ๊ฐ ํจ์ฌ ์ฌ์์ง๊ณ ์น์ธ๋ ๊ฐ๋ฅ์ฑ์ด ๋์์ง๋๋ค.
- ๋ฌธ์ ๋ฅผ ์ฌํํ๋ ๋ฐ ์๊ฐ์ ํฌ์ํ์ธ์. ์ฌ์ฉ์๊ฐ ๋ฌธ์ ๋ฅผ ๋ณด๊ณ ํ๋ ๊ฒฝ์ฐ, ์ค์ ๋ก๋ ํด๋น ์ฌ์ฉ์์ ๋จธ์ ํ๊ฒฝ ๋ฌธ์ ์ด๊ฑฐ๋, ๋ฌธ์ ๋ฅผ ์๋ชป ์ง๋จํ์ฌ ์๋ชป๋ ํด๊ฒฐ์ฑ ์ ์ ์ํ๋ ๊ฒฝ์ฐ๊ฐ ๋งค์ฐ ๋ง์ต๋๋ค. ๋ณด๊ณ ๋ด์ฉ์ ๋๋ฌด ๋ฏฟ์ผ๋ฉด, ๋๋ก๋ ์กด์ฌํ์ง ์๋ ๋ฌธ์ ์ ๋ํด ์๋ชป๋ ํด๊ฒฐ์ฑ ์ด ๋์ถ๋ฉ๋๋ค! ๊ฐ๋จํ ์ฌํ ์คํฌ๋ฆฝํธ๋ฅผ ์์ฑํ๊ณ ์คํํ์ฌ ๋ฌธ์ ๊ฐ ์ค์ ๋ก ํ์ธ๋๋์ง ํ์ธํ๋ ๊ฒ์ ๋งค์ฐ ๊ฐ์น ์์ต๋๋ค.
- ๋ค๋ฅธ ๋ชจ๋ธ๊ณผ ๋น๊ตํ์ธ์. Transformers ์ ์ฅ์๋ ๋งค์ฐ ํฌ๋ฉฐ, ๋ง์ ๋ชจ๋ธ์ด ์ ์ฌํ ์์ ์ ์ํํฉ๋๋ค. ๋ฒ๊ทธ๋ฅผ ์์ ํ ๋, ํด๋น ๋ฒ๊ทธ๊ฐ ๋ค๋ฅธ ๋ชจ๋ธ์๋ ์กด์ฌํ๋์ง ํ์ธํ๋ ๊ฒ์ด ์ ์ฉํฉ๋๋ค. PR์ โ(๋ค๋ฅธ ๋ชจ๋ธ)๊ณผ ๋์ผํ ์ ๊ทผ ๋ฐฉ์์ ์ฌ์ฉํ์ฌ ์์ ํ์ต๋๋คโ๋ผ๊ณ ๊ด๋ จ ์ฝ๋ ๋งํฌ์ ํจ๊ป ๋ช ์ํ๋ฉด, ์์ ์ด ์ ํํ ๊ฐ๋ฅ์ฑ์ด ๋๊ณ ๋๋จธ์ง ์ฝ๋๋ฒ ์ด์ค์ ํธํ๋จ์ ๋ณด์ฌ์ฃผ๊ธฐ ๋๋ฌธ์ ์ ์ง๋ณด์์์๊ฒ ๋งค์ฐ ๋์์ด ๋ฉ๋๋ค.
- Avoid โbusyworkโ PRs. We donโt have time for small style changes or typo fixes in comments, and we donโt accept fixes for โtheoretical bugsโ found by code analysis that rarely if ever cause problems in practice, unless they can be exploited by an attacker.
- ํ
์คํธ๋ฅผ ๋ก์ปฌ๊ณผ CI์์ ํ์ธํ์ธ์. PR์ ์ด๊ธฐ ์ ์
make fix-repo๋ฅผ ์คํํ๊ณutils/tests_fetcher.py๋ฅผ ์ฌ์ฉํ์ฌ PR ๋ธ๋์น์์ ๋ณ๊ฒฝํ ํ์ผ๋ค์ ์ปค๋ฒํ๋ ํ ์คํธ ๋ชฉ๋ก์ ํ์ธํ์ธ์. ํด๋น ํ ์คํธ๋ฅผ ๋ก์ปฌ์์ ์คํํ์ฌ PR์ ์ด๊ธฐ ์ ์ ํต๊ณผํ๋์ง ํ์ธํ์ธ์. PR์ ์ฐ ํ์๋ CI๊ฐ ๋ น์์ผ๋ก ํ์๋๋์ง ํ์ธํ๊ณ , ๋ฆฌ๋ทฐ๋ฅผ ์์ฒญํ๊ธฐ ์ ์ ๋ชจ๋ ๋ฌธ์ ๋ฅผ ์์ ํ์ธ์. ์ด๋ ๊ฒ ํ๋ฉด ์๋ฆผ ์คํธ์ด ํฌ๊ฒ ์ค์ด๋ค์ด ์ ์ง๋ณด์์์ ๋ถ๋ด์ ์ค์ผ ์ ์์ต๋๋ค.
์ค์
GitHub์ Fork ๋ฒํผ์ ๋๋ฌ Transformers๋ฅผ ํฌํฌํ์ฌ ๋ด ๊ณ์ ์๋์ ์ฌ๋ณธ์ ๋ง๋ ํ, ๋ก์ปฌ๋ก ํด๋ก ํ์ธ์.
git clone git@github.com:<your Github handle>/transformers.git cd transformersupstream์ด๋ผ๋ ์ด๋ฆ์ remote๋ก Transformers ์ ์ฅ์๋ฅผ ์ถ๊ฐํฉ๋๋ค.origin์ ๋ด ํฌํฌ๋ฅผ,upstream์ ์์ค ์ค๋ธ ํธ๋ฃจ์ค๋ฅผ ๊ฐ๋ฆฌํต๋๋ค. ์ด๋ฅผ ํตํดorigin์ pushํ๊ณ PR์ ์ด๊ธฐ ์ ์ ๋ก์ปฌmain์ ๋๊ธฐํํ ์ ์์ต๋๋ค.git remote add upstream https://github.com/huggingface/transformers.git git remote -v # origin git@github.com:<your Github handle>/transformers.git (fetch) # origin git@github.com:<your Github handle>/transformers.git (push) # upstream https://github.com/huggingface/transformers.git (fetch) # upstream https://github.com/huggingface/transformers.git (push)ํฌํฌ๋ฅผ ์ต์ ์ํ๋ก ์ ์งํ๊ณ ์์ ์ ์์ํ ๋ธ๋์น๋ฅผ ๋ง๋์ธ์. GitHub UI์ Sync fork ๋ฒํผ์ ์ฌ์ฉํ์ฌ ํฌํฌ๋ฅผ ๋๊ธฐํํ ์๋ ์์ต๋๋ค.
git checkout main && git pull upstream main && git push origin main git switch -c a-descriptive-name-for-my-branch
๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํธ์ง ๊ฐ๋ฅ ๋ชจ๋์์ ์ค์นํฉ๋๋ค. ์คํ์ผ ๋ฐ ํ์ง ๊ฒ์ฌ์ ํ์ํ ๊ฐ๋ฐ ๋๊ตฌ๊ฐ ํฌํจ๋์ด ์์ผ๋ฏ๋ก ๋๋ถ๋ถ์ ๊ธฐ์ฌ์๋
[dev]๋ฅผ ์ฌ์ฉํ์ธ์. ๋ชจ๋ธ ๊ธฐ์ฌ์๋[torch,testing]์, ์ ์ฒด ๊ฐ๋ฐ ์์กด์ฑ ์ธํธ๊ฐ ํ์ํ์ง ์์ ๋ฌธ์ ์ ์ฉ ๋ณ๊ฒฝ ์ฌํญ ๋ฐ ์์ ์์ ์๋[quality]๋ฅผ ์ฌ์ฉํ์ธ์.pip install -e ".[dev]" # for model contributions pip install -e ".[torch,testing]" # for docs-only changes and small fixes pip install -e ".[quality]"
Windows
Windows์์ WSL์ ์ฌ์ฉํ์ง ์๋ ๊ฒฝ์ฐ, git์ ์ค์ ํ์ฌ CRLF ์ค ๋์ LF๋ก ๋ณํํ๋๋ก ํ์ธ์.
git config core.autocrlf input
Windows์์ make ๋ช
๋ น์ ์คํํ๋ ๋ฐฉ๋ฒ ์ค ํ๋๋ MSYS2๋ฅผ ์ฌ์ฉํ๋ ๊ฒ์
๋๋ค.
- MSYS2 ๋ค์ด๋ก๋ (
C:\msys64์ ์ค์น๋์ด ์๋ค๊ณ ๊ฐ์ ํฉ๋๋ค). - ๋ช
๋ น์ค
C:\msys64\msys2.exe๋ฅผ ์ฝ๋๋ค(์์ ๋ฉ๋ด์์ ์ฌ์ฉํ ์ ์์ด์ผ ํฉ๋๋ค). - ์
ธ์์
pacman -Syu๋ฅผ ์คํํ๊ณpacman -S make๋กmake๋ฅผ ์ค์นํฉ๋๋ค. - PATH ํ๊ฒฝ ๋ณ์์
C:\msys64\usr\bin์ ์ถ๊ฐํ์ธ์.
์ด์ ์ด๋ค ํฐ๋ฏธ๋(PowerShell, cmd.exe ๋ฑ)์์๋ make๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค.
์ด์ ์ด๊ธฐ
์ด์ ํ
ํ๋ฆฟ์ ์ฌ์ฉํ๊ณ , ํด๋น ์ด์๊ฐ ์ด๋ฏธ ๋ณด๊ณ ๋์ง ์์๋์ง ํ์ธํ์ธ์(GitHub์ Issues ์๋ ๊ฒ์ ๋ฐ ์ฌ์ฉ). ๋ฒ๊ทธ ๋ณด๊ณ ์๋ Transformers์ ๋ฒ๊ทธ์ ๊ดํ ๊ฒ์ด์ด์ผ ํ๋ฉฐ, ์ฌ์ฉ์ ์์ ์ ์ฝ๋์ ๊ดํ ๊ฒ์ด์ด์๋ ์ ๋ฉ๋๋ค. ๋ํ ์ค์ ์ฌ์ฉ๊ณผ ์ค์ ์ฒดํฌํฌ์ธํธ์ ์ํฅ์ ์ฃผ์ด์ผ ํฉ๋๋ค. ์ฝ๋๋ฅผ ์ฝ์ด์ ๋ฐ๊ฒฌํ โ์ด๋ก ์ ๋ฒ๊ทธโ๋ก, ํธ๋ฆฌ๊ฑฐ๋ฅผ ์ํด ๋งค์ฐ ๋นํ์ค์ ์ธ ์ค์ ์ด ํ์ํ ๊ฒฝ์ฐ ๋ณด์ ๋ฌธ์ ๊ฐ ์๋ ํ ๋ถ๋ฅ(triage)๋์ง ์์ต๋๋ค. ์ต์ ๋ฆด๋ฆฌ์ค ๋๋ main์์ ๋ฒ๊ทธ๋ฅผ ์ฌํํ๋ ์งง๊ณ ์์ฒด ์๊ฒฐ๋ ์คํฌ๋ฆฝํธ๋ฅผ ํฌํจํ์ธ์. ๊ณต๊ฐ๋ ์ฒดํฌํฌ์ธํธ๋ ๊ธฐ๋ณธ ์ค์ ์ ์ฌ์ฉํด์ผ ํฉ๋๋ค. ์คํ ๊ฐ๋ฅํ ์ฌํ ์คํฌ๋ฆฝํธ๊ฐ ์๋ ๋ฒ๊ทธ ๋ณด๊ณ ์๋ ๋ถ๋ฅ๋์ง ์์ต๋๋ค.
๋ฒ๊ทธ๊ฐ ๋ด ์ฝ๋์ ์๋์ง ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ์๋์ง ํ์คํ์ง ์๋ค๋ฉด, ๋จผ์ ํฌ๋ผ์ด๋ Discord์์ ์ง๋ฌธํด ๋ณด์ธ์. ์ด๋ ๊ฒ ํ๋ฉด GitHub์ด ์คํ ๊ฐ๋ฅํ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ด์์ ์ง์คํ ์ ์์ต๋๋ค.
์ ๋ชจ๋ธ ์ถ๊ฐ
Transformers์ ๋ชจ๋ธ์ ์ถ๊ฐํ๋ฉด ๋๊ตฌ๋ ํด๋น ๋ชจ๋ธ์ ๋ก๋ํ๊ณ ํ์ธํ๋ํ๊ฑฐ๋ ์ถ๋ก ์ ์คํํ ์ ์์ต๋๋ค. ๊ตฌํ์ ์์ํ๊ธฐ ์ ์, Transformers์ ์ด๋ฏธ ํฌํจ๋ ์ต์ ์ต์ฒจ๋จ ๋ชจ๋ธ๊ณผ ์์ ์ ์ํคํ ์ฒ ๊ฐ์ ์ฐจ์ด๋ฅผ ๋ถ๋ฆฌํด ๋ณด์ธ์. ์ด์๋ PR์์ ์ด๋ฌํ ์ฐจ์ด๋ฅผ ์ค๋ช ํ๋ฉด ๋ฆฌ๋ทฐ์ด๊ฐ ๋ชจ๋ธ์ด ๊ฐ์ ธ์ค๋ ๋์ ๊ณผ์ , ๊ธฐ์กด ํจํด์ ์ฌ์ฌ์ฉํ ์ ์๋ ๋ถ๋ถ, ๋ชจ๋ธ ๊ฐ์ ํ์คํํด์ผ ํ ๋ถ๋ถ์ ๋น ๋ฅด๊ฒ ์ดํดํ ์ ์์ต๋๋ค.
์๋ ๊ฐ์ด๋๋ฅผ ๋ฐ๋ฅด์ธ์.
- ๋ชจ๋ํ Transformers๋ก ๋ชจ๋ธ ์ถ๊ฐ โ ๋ชจ๋ ํ์ผ๋ก ๋ชจ๋ธ์ ๊ตฌํํ๊ณ ๋ ๋ฆฝ์ ์ธ modeling ํ์ผ์ ์์ฑํฉ๋๋ค.
- Docstring ์๋ ์์ฑ โ
@auto_docstring๋ฐ์ฝ๋ ์ดํฐ๋ฅผ ์ฌ์ฉํ์ฌ ๋ถํ์ํ ์ฝ๋๋ฅผ ์ค์ด๊ณ ์ผ๊ด๋ docstring์ ์์ฑํฉ๋๋ค. - ํ ์คํธ โ ๋ชจ๋ธ์ ์ ํ์ฑ์ ๊ฒ์ฆํ๊ณ ๊ธฐ์ฌ๋ฌผ์ ์ ์ง๋ณด์์ฑ์ ์ ์งํ๊ธฐ ์ํด ๋ชจ๋ธ ํ ์คํธ๋ฅผ ์์ฑํ๊ณ ์คํํฉ๋๋ค. ์ธ๊ณผ ์ธ์ด ๋ชจ๋ธ์ ๊ฒฝ์ฐ, ๊ฐ๋ฅํ ํ ์ธ๊ณผ LM ํ ์คํฐ๋ฅผ ์์๋ฐ์ต๋๋ค. ์ค์ ์ฒดํฌํฌ์ธํธ์ ๋ํด ํ๋ก์ธ์, ํ ํฌ๋์ด์ , ๋ชจ๋ธ์ ์ ์ฒด ๊ฒฝ๋ก๋ฅผ ๊ฒ์ฆํ๋ฏ๋ก ํตํฉ ํ ์คํธ๋ฅผ ์ฐ์ ์ํฉ๋๋ค.
- ๋ชจ๋ธ ๊ตฌ์กฐ ๊ท์น โ
make typing์ ์ํด ๊ฐ์ ๋๋ ์ ์ ๋ชจ๋ธ ๊ตฌ์กฐ ๊ท์น์ ํ์ผ์ด ํต๊ณผํ๋์ง ํ์ธํฉ๋๋ค.
์ผ๋ถ ๋ชจ๋ธ ์ถ๊ฐ์๋ ์ถ๊ฐ์ ์ธ ํตํฉ ์์ ์ด ํ์ํฉ๋๋ค.
- ๋ชจ๋ธ์ด ์ด๋ฏธ์ง ๋๋ ๋น๋์ค ์ ๋ ฅ์ ํ์๋ก ํ๋ ๊ฒฝ์ฐ ๋น์ ์ฒ๋ฆฌ ๊ตฌ์ฑ ์์๋ฅผ ์ถ๊ฐํฉ๋๋ค.
- ๊ฒ์๋ ์ฒดํฌํฌ์ธํธ์ ๋งค๊ฐ๋ณ์ ์ด๋ฆ์ด Transformers ๊ตฌํ๊ณผ ์ผ์นํ์ง ์๋ ๊ฒฝ์ฐ์ ๋์ ๊ฐ์ค์น ๋ก๋ฉ
๋ชจ๋ธ ์ถ๊ฐ ํ์๋ผ์ธ
๋ชจ๋ธ ๊ธฐ์ฌ์์ ์ปค๋ฎค๋ํฐ์ ์ํคํ ์ฒ ์์์ ๋ฐ๋ผ ๋ชจ๋ธ ์ถ๊ฐ๋ฅผ ์ํ ๋ค ๊ฐ์ง ํ์๋ผ์ธ์ด ์์ต๋๋ค.
Day-0 ํตํฉ: ๋ชจ๋ธ ๋ฆด๋ฆฌ์ค ๋น์ผ ์๋ก์ด ๋ฒ์ ๋ฆด๋ฆฌ์ค๋ฅผ ํตํด Transformers์์ ๋ชจ๋ธ์ ์ฌ์ฉํ ์ ์๋๋ก ํฉ๋๋ค. ๊ฐ์ฅ ์ค์ํ ํต์ฌ ๊ธฐ๋ฅ(์์ํ, FlashAttention, KV-cache ๋ฑ)์ ๋ํ ์ง์์ ์ ๊ณตํ๋ฉฐ, ์ด๊ธฐ ์ด์์ ๊ฒํ ํ๊ณ , ์ผ์ ์ํฉ์ ๋ฐ๋ผ ๋ชจ๋ธ ๊ตฌํ๋ ๋ด๋นํ ์ ์์ต๋๋ค.
์๋ก์ด ์ํคํ ์ฒ์ ๊ฒฝ์ฐ ํนํ ๋ช ์ฃผ ์ ์ transformers@huggingface.co๋ก ์ด๋ฉ์ผ์ ๋ณด๋ด ์ฃผ์ธ์. ์ฒดํฌํฌ์ธํธ์ ๋ฆด๋ฆฌ์ค๊ฐ ์ค๋น๋ ๋๊น์ง ๋น๊ณต๊ฐ ํฌํฌ๋ฅผ ํตํด ํจ๊ป ๋ฐ๋ณต ์์ ์ ์งํํฉ๋๋ค.
๊ฐ์ ์ฃผ ๋ด ํตํฉ: ์์๊ฐ ๋์ ๋ชจ๋ธ์ ์ ์๊ฐ ์ง์ ์ฐ๋ฝํ์ง ์์๋ ๋ณดํต ์ผ์ฃผ์ผ ์ด๋ด์ ๋ฑ๋ก๋ฉ๋๋ค.
new model template๋ฅผ ์ฌ์ฉํ์ฌ ์ด์๋ฅผ ์ด์ด ์์ฒญํ์ธ์. ํ๋์ด ๋ง์ ์ด์์ผ์๋ก ๋๊ธฐ ์์๊ฐ ๋ ๋นจ๋ฆฌ ์ฌ๋ผ๊ฐ๋๋ค.
๋ฆด๋ฆฌ์ค ํ ํตํฉ: ์์๊ฐ ๊ฐํ์ง ์๊ฑฐ๋, ์ฐ๋ฆฌ๊ฐ ์ฒ๋ฆฌํ ์ฌ์ ๊ฐ ์๋ ๋ชจ๋ธ์ ์ ์คํธ๋ฆผ ๋ฆด๋ฆฌ์ค ์ดํ์ ๋ฐ์๋ฉ๋๋ค.
์ธ๋ถ ๊ธฐ์ฌ์๋ ์ด์๋ฅผ ๋ง๋ค๊ฑฐ๋ ๋ง๋ค์ง ์๊ณ ์ ๋ชจ๋ธ์ ๋ํ PR์ ์ง์ ์ด ์ ์์ต๋๋ค. ์์ํ๊ธฐ ์ ์ ์ด๋ฏธ ๋๊ตฐ๊ฐ๊ฐ ํด๋น ๋ชจ๋ธ์ ์ถ๊ฐํ๊ณ ์๋์ง ํ์ธํ๊ธฐ ์ํด ์ด๋ฆฐ โNew modelโ ์ด์์ ์ด๋ฆฐ PR์ ํ์ธํ์ธ์. ๊ฒํ ํ๊ณ ์๋ดํด ๋๋ฆฌ๊ฒ ์ต๋๋ค.
Hub ์ฐ์ ๋ฆด๋ฆฌ์ค: Transformers์ remote-code ์ง์์ ํตํด ๋ชจ๋ธ์ Hub์ ์ง์ ๋ฐฐํฌํ ์ ์์ผ๋ฉฐ, ์ ์คํธ๋ฆผ PR์ด ํ์ํ์ง ์์ต๋๋ค.
Hub-first๋ก ์ ๊ณต๋๋ ์ธ๊ธฐ ์๋ ๋ชจ๋ธ์ ๋์ค์ Transformers์ ํตํฉ๋๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค. ์ด๋ฅผ ํตํด 1๊ธ ๋ฌธ์, ์ ์ง๋ณด์ ๋ฐ ์ต์ ํ ๊ธฐ๋ฅ์ด ํ์ฑํ๋ฉ๋๋ค. Hub-first๋ ๋ชจ๋ธ์ ์ถ๊ฐํ๋ ๊ฐ์ฅ ์ ์ ๋ง์ฐฐ์ ๋ฐฉ๋ฒ์ ๋๋ค. ๊ทธ๋ฌ๋ ๋ชจ๋ธ์ด ๊ฐ์ค์น ๋ณํ์ด๋ ๊ธฐํ ํ์ ํธํ์ฑ ๋ฌธ์ ๋ฅผ ์๊ตฌํ๋ ๊ฒฝ์ฐ ๋ ์ทจ์ฝํ ์ ์์ต๋๋ค.
Docs
์์ค ํ์ผ์์ ์์ฑ๋ API ์ฐธ์กฐ์ ๊ฒฝ์ฐ, ํด๋น๋๋ ๊ฒฝ์ฐ @auto_docstring ๋ฐ์ฝ๋ ์ดํฐ๋ฅผ ์ฌ์ฉํ์ธ์. ๋ฌธ์ ํธ์ง ๋ฐฉ๋ฒ๊ณผ ์ฐ๋ฆฌ๊ฐ ์ฌ์ฉํ๋ ๊ตฌ๋ฌธ์ ๋ํ ์์ธํ ๋ด์ฉ์ ๋ฌธ์ README๋ฅผ ์ฐธ๊ณ ํ์ธ์.