Test LLMs
Run & train models locally
Hugging Face Transformers๋ GPT, BERT ๋ฐ ๊ธฐํ ์ฌ๋ฌ LLM์ ์ฌ์ฉํ๊ณ ํ๋ จํ๋ฉฐ ๋ฐฐํฌํ๋ ๋ฐ ๊ฐ์ฅ ์ธ๊ธฐ ์๋ ์คํ ์์ค ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ค ํ๋์ ๋๋ค. ์ฌ์ ํ๋ จ๋ ๋ชจ๋ธ, ๋ฐ์ดํฐ์ ๋ฐ ๋ฏธ์ธ ์กฐ์ ๋ฐ ๋ฐฐํฌ๋ฅผ ์ํ Hugging Face Hub์์ ์ํํ ํตํฉ์ ํฌํจํ๋ ํฌ๊ด์ ์ธ ์ํ๊ณ๋ฅผ ์ ๊ณตํฉ๋๋ค.
LangChain์ LLM์ ์ฌ์ฉํ์ฌ ์ ํ๋ฆฌ์ผ์ด์ ์ ๊ตฌ์ถํ๊ธฐ ์ํด ์ค๊ณ๋ ํ๋ ์์ํฌ์ ๋๋ค. ๊ฐ๋ฐ์๊ฐ ์ธ์ด ๋ชจ๋ธ์ ์ธ๋ถ ๋ฐ์ดํฐ ์์ค, API ๋ฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ์ฐ๊ฒฐํ ์ ์๋๋ก ํฉ๋๋ค. LangChain์ ๊ณ ๊ธ ํ๋กฌํํธ ์์ง๋์ด๋ง, ๋ํ ๊ธฐ๋ก ๊ด๋ฆฌ ๋ฐ ๋ณต์กํ ์ํฌํ๋ก์ LLM์ ํตํฉํ๊ธฐ ์ํ ๋๊ตฌ๋ฅผ ์ ๊ณตํฉ๋๋ค.
LitGPT๋ Lightning AI์์ ๊ฐ๋ฐํ ํ๋ก์ ํธ๋ก, Lightning ํ๋ ์์ํฌ๋ฅผ ํ์ฉํ์ฌ GPT ๊ธฐ๋ฐ ๋ชจ๋ธ์ ํ๋ จ, ๋ฏธ์ธ ์กฐ์ ๋ฐ ๋ฐฐํฌ๋ฅผ ์ฉ์ดํ๊ฒ ํฉ๋๋ค. ๋ค๋ฅธ Lightning AI ๋๊ตฌ์ ์ํํ๊ฒ ํตํฉ๋์ด ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ์ฒ๋ฆฌํ๊ธฐ ์ํ ์ต์ ํ๋ ์ํฌํ๋ก๋ฅผ ์ ๊ณตํฉ๋๋ค.
์ค๋ช : LitServe๋ AI ๋ชจ๋ธ์ ์ ์ํ๊ณ ํจ์จ์ ์ผ๋ก ๋ฐฐํฌํ๊ธฐ ์ํด ์ค๊ณ๋ Lightning AI์ ๋ฐฐํฌ ๋๊ตฌ์ ๋๋ค. LLM์ ์ค์๊ฐ ์ ํ๋ฆฌ์ผ์ด์ ์ ํตํฉํ๋ ๊ฒ์ ๊ฐ์ํํ์ฌ ํ์ฅ ๊ฐ๋ฅํ๊ณ ์ต์ ํ๋ ์๋น์ค ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค.
Axolotl์ LLM์ ํฌํจํ AI ๋ชจ๋ธ์ ๋ฐฐํฌ, ํ์ฅ ๋ฐ ๊ด๋ฆฌ๋ฅผ ๊ฐ์ํํ๊ธฐ ์ํด ์ค๊ณ๋ ํด๋ผ์ฐ๋ ๊ธฐ๋ฐ ํ๋ซํผ์ ๋๋ค. ์๋ ํ์ฅ, ๋ชจ๋ํฐ๋ง ๋ฐ ๋ค์ํ ํด๋ผ์ฐ๋ ์๋น์ค์์ ํตํฉ๊ณผ ๊ฐ์ ๊ธฐ๋ฅ์ ์ ๊ณตํ์ฌ ๊ด๋ฒ์ํ ์ธํ๋ผ ๊ด๋ฆฌ ์์ด๋ ํ๋ก๋์ ํ๊ฒฝ์์ ๋ชจ๋ธ์ ๋ฐฐํฌํ ์ ์๋๋ก ํฉ๋๋ค.
Try models online
Hugging Face๋ ๊ธฐ๊ณ ํ์ต์ ์ํ ์ ๋์ ์ธ ํ๋ซํผ์ด์ ์ปค๋ฎค๋ํฐ๋ก, ํนํ ์์ฐ์ด ์ฒ๋ฆฌ(NLP) ๋ถ์ผ์์์ ์์ ์ผ๋ก ์ ์๋ ค์ ธ ์์ต๋๋ค. ๊ธฐ๊ณ ํ์ต ๋ชจ๋ธ์ ๊ฐ๋ฐ, ๊ณต์ ๋ฐ ๋ฐฐํฌํ๋ ๋ฐ ๋์์ด ๋๋ ๋๊ตฌ, ๋ผ์ด๋ธ๋ฌ๋ฆฌ ๋ฐ ๋ฆฌ์์ค๋ฅผ ์ ๊ณตํฉ๋๋ค. ์ฌ๋ฌ ์น์ ์ ์ ๊ณตํฉ๋๋ค:
Models: ์ฌ์ฉ์๊ฐ ๋ค์ํ ์์ (ํ ์คํธ ์์ฑ, ๋ฒ์ญ, ์ด๋ฏธ์ง ์ธ์ ๋ฑ)์ ์ํด ๋ชจ๋ธ์ ํ์, ๋ค์ด๋ก๋ ๋ฐ ํตํฉํ ์ ์๋ ๋ฐฉ๋ํ ์ฌ์ ํ๋ จ๋ ๊ธฐ๊ณ ํ์ต ๋ชจ๋ธ ์ ์ฅ์์ ๋๋ค.
Datasets: ๋ชจ๋ธ ํ๋ จ ๋ฐ ํ๊ฐ์ ์ฌ์ฉ๋๋ ํฌ๊ด์ ์ธ ๋ฐ์ดํฐ์ ๋ชจ์์ ๋๋ค. ๋ค์ํ ๋ฐ์ดํฐ ์์ค์ ์ฝ๊ฒ ์ ๊ทผํ ์ ์๋๋ก ํ์ฌ ์ฌ์ฉ์๊ฐ ํน์ ๊ธฐ๊ณ ํ์ต ํ๋ก์ ํธ์ ํ์ํ ๋ฐ์ดํฐ๋ฅผ ์ฐพ๊ณ ํ์ฉํ ์ ์๊ฒ ํฉ๋๋ค.
Spaces: ์ธํฐ๋ํฐ๋ธ ๊ธฐ๊ณ ํ์ต ์ ํ๋ฆฌ์ผ์ด์ ๋ฐ ๋ฐ๋ชจ๋ฅผ ํธ์คํ ํ๊ณ ๊ณต์ ํ๊ธฐ ์ํ ํ๋ซํผ์ ๋๋ค. ๊ฐ๋ฐ์๊ฐ ๋ชจ๋ธ์ ์ค์ ๋ก ๋ณด์ฌ์ฃผ๊ณ , ์ฌ์ฉ์ ์นํ์ ์ธ ์ธํฐํ์ด์ค๋ฅผ ๋ง๋ค๊ณ , ๋ผ์ด๋ธ ๋ฐ๋ชจ๋ฅผ ๊ณต์ ํ์ฌ ๋ค๋ฅธ ์ฌ๋๋ค๊ณผ ํ์ ํ ์ ์๋๋ก ํฉ๋๋ค.
TensorFlow Hub๋ Google์์ ๊ฐ๋ฐํ ์ฌ์ฌ์ฉ ๊ฐ๋ฅํ ๊ธฐ๊ณ ํ์ต ๋ชจ๋์ ํฌ๊ด์ ์ธ ์ ์ฅ์์ ๋๋ค. ๊ธฐ๊ณ ํ์ต ๋ชจ๋ธ, ํนํ TensorFlow๋ก ๊ตฌ์ถ๋ ๋ชจ๋ธ์ ๊ณต์ ๋ฐ ๋ฐฐํฌ๋ฅผ ์ฉ์ดํ๊ฒ ํ๋ ๋ฐ ์ค์ ์ ๋ก๋๋ค.
Modules: ์ฌ์ฉ์๊ฐ ์ด๋ฏธ์ง ๋ถ๋ฅ, ํ ์คํธ ์๋ฒ ๋ฉ ๋ฑ๊ณผ ๊ฐ์ ์์ ์ ์ํด ๋ชจ๋์ ํ์, ๋ค์ด๋ก๋ ๋ฐ ํตํฉํ ์ ์๋ ๋ฐฉ๋ํ ์ฌ์ ํ๋ จ๋ ๋ชจ๋ธ ๋ฐ ๋ชจ๋ธ ๊ตฌ์ฑ ์์์ ๋ชจ์์ ๋๋ค.
Tutorials: ์ฌ์ฉ์๊ฐ TensorFlow Hub๋ฅผ ์ฌ์ฉํ์ฌ ๋ชจ๋ธ์ ๊ตฌํํ๊ณ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ์ ์ดํดํ๋ ๋ฐ ๋์์ด ๋๋ ๋จ๊ณ๋ณ ๊ฐ์ด๋ ๋ฐ ์์ ์ ๋๋ค.
Documentation: ๊ฐ๋ฐ์๊ฐ ์ ์ฅ์์ ๋ฆฌ์์ค๋ฅผ ํจ๊ณผ์ ์ผ๋ก ํ์ฉํ๋ ๋ฐ ๋์์ด ๋๋ ํฌ๊ด์ ์ธ ๊ฐ์ด๋ ๋ฐ API ์ฐธ์กฐ์ ๋๋ค.
Replicate๋ ๊ฐ๋ฐ์๊ฐ ๊ฐ๋จํ API๋ฅผ ํตํด ํด๋ผ์ฐ๋์์ ๊ธฐ๊ณ ํ์ต ๋ชจ๋ธ์ ์คํํ ์ ์๋๋ก ํ๋ ํ๋ซํผ์ ๋๋ค. ๊ด๋ฒ์ํ ์ธํ๋ผ ์ค์ ์์ด ML ๋ชจ๋ธ์ ์ฝ๊ฒ ์ ๊ทผํ๊ณ ๋ฐฐํฌํ ์ ์๋๋ก ํ๋ ๋ฐ ์ค์ ์ ๋ก๋๋ค.
Models: ์ฌ์ฉ์๊ฐ ํ์ํ๊ณ ์๋ํ๋ฉฐ ์ต์ํ์ ๋ ธ๋ ฅ์ผ๋ก ์ ํ๋ฆฌ์ผ์ด์ ์ ๋ชจ๋ธ์ ํตํฉํ ์ ์๋ ์ปค๋ฎค๋ํฐ์์ ๊ธฐ์ฌํ ๊ธฐ๊ณ ํ์ต ๋ชจ๋ธ์ ์ ์ฅ์์ ๋๋ค.
API Access: ๊ฐ๋ฐ์๊ฐ ์์ ์ ์ ํ๋ฆฌ์ผ์ด์ ๋ด์์ ๋ชจ๋ธ์ ์ฝ๊ฒ ๋ฐฐํฌํ๊ณ ํ์ฅํ ์ ์๋๋ก ํ๋ ๊ฐ๋จํ API์ ๋๋ค.
Last updated