Test LLMs

Run & train models locally

Hugging Face Transformers๋Š” GPT, BERT ๋ฐ ๊ธฐํƒ€ ์—ฌ๋Ÿฌ LLM์„ ์‚ฌ์šฉํ•˜๊ณ  ํ›ˆ๋ จํ•˜๋ฉฐ ๋ฐฐํฌํ•˜๋Š” ๋ฐ ๊ฐ€์žฅ ์ธ๊ธฐ ์žˆ๋Š” ์˜คํ”ˆ ์†Œ์Šค ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์ค‘ ํ•˜๋‚˜์ž…๋‹ˆ๋‹ค. ์‚ฌ์ „ ํ›ˆ๋ จ๋œ ๋ชจ๋ธ, ๋ฐ์ดํ„ฐ์…‹ ๋ฐ ๋ฏธ์„ธ ์กฐ์ • ๋ฐ ๋ฐฐํฌ๋ฅผ ์œ„ํ•œ Hugging Face Hub์™€์˜ ์›ํ™œํ•œ ํ†ตํ•ฉ์„ ํฌํ•จํ•˜๋Š” ํฌ๊ด„์ ์ธ ์ƒํƒœ๊ณ„๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

LangChain์€ LLM์„ ์‚ฌ์šฉํ•˜์—ฌ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ๊ตฌ์ถ•ํ•˜๊ธฐ ์œ„ํ•ด ์„ค๊ณ„๋œ ํ”„๋ ˆ์ž„์›Œํฌ์ž…๋‹ˆ๋‹ค. ๊ฐœ๋ฐœ์ž๊ฐ€ ์–ธ์–ด ๋ชจ๋ธ์„ ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ ์†Œ์Šค, API ๋ฐ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์™€ ์—ฐ๊ฒฐํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•ฉ๋‹ˆ๋‹ค. LangChain์€ ๊ณ ๊ธ‰ ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง, ๋Œ€ํ™” ๊ธฐ๋ก ๊ด€๋ฆฌ ๋ฐ ๋ณต์žกํ•œ ์›Œํฌํ”Œ๋กœ์— LLM์„ ํ†ตํ•ฉํ•˜๊ธฐ ์œ„ํ•œ ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

LitGPT๋Š” Lightning AI์—์„œ ๊ฐœ๋ฐœํ•œ ํ”„๋กœ์ ํŠธ๋กœ, Lightning ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ํ™œ์šฉํ•˜์—ฌ GPT ๊ธฐ๋ฐ˜ ๋ชจ๋ธ์˜ ํ›ˆ๋ จ, ๋ฏธ์„ธ ์กฐ์ • ๋ฐ ๋ฐฐํฌ๋ฅผ ์šฉ์ดํ•˜๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค๋ฅธ Lightning AI ๋„๊ตฌ์™€ ์›ํ™œํ•˜๊ฒŒ ํ†ตํ•ฉ๋˜์–ด ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ์„ ์ฒ˜๋ฆฌํ•˜๊ธฐ ์œ„ํ•œ ์ตœ์ ํ™”๋œ ์›Œํฌํ”Œ๋กœ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

์„ค๋ช…: LitServe๋Š” AI ๋ชจ๋ธ์„ ์‹ ์†ํ•˜๊ณ  ํšจ์œจ์ ์œผ๋กœ ๋ฐฐํฌํ•˜๊ธฐ ์œ„ํ•ด ์„ค๊ณ„๋œ Lightning AI์˜ ๋ฐฐํฌ ๋„๊ตฌ์ž…๋‹ˆ๋‹ค. LLM์„ ์‹ค์‹œ๊ฐ„ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ํ†ตํ•ฉํ•˜๋Š” ๊ฒƒ์„ ๊ฐ„์†Œํ™”ํ•˜์—ฌ ํ™•์žฅ ๊ฐ€๋Šฅํ•˜๊ณ  ์ตœ์ ํ™”๋œ ์„œ๋น„์Šค ๊ธฐ๋Šฅ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

Axolotl์€ LLM์„ ํฌํ•จํ•œ AI ๋ชจ๋ธ์˜ ๋ฐฐํฌ, ํ™•์žฅ ๋ฐ ๊ด€๋ฆฌ๋ฅผ ๊ฐ„์†Œํ™”ํ•˜๊ธฐ ์œ„ํ•ด ์„ค๊ณ„๋œ ํด๋ผ์šฐ๋“œ ๊ธฐ๋ฐ˜ ํ”Œ๋žซํผ์ž…๋‹ˆ๋‹ค. ์ž๋™ ํ™•์žฅ, ๋ชจ๋‹ˆํ„ฐ๋ง ๋ฐ ๋‹ค์–‘ํ•œ ํด๋ผ์šฐ๋“œ ์„œ๋น„์Šค์™€์˜ ํ†ตํ•ฉ๊ณผ ๊ฐ™์€ ๊ธฐ๋Šฅ์„ ์ œ๊ณตํ•˜์—ฌ ๊ด‘๋ฒ”์œ„ํ•œ ์ธํ”„๋ผ ๊ด€๋ฆฌ ์—†์ด๋„ ํ”„๋กœ๋•์…˜ ํ™˜๊ฒฝ์—์„œ ๋ชจ๋ธ์„ ๋ฐฐํฌํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•ฉ๋‹ˆ๋‹ค.

Try models online

Hugging Face๋Š” ๊ธฐ๊ณ„ ํ•™์Šต์„ ์œ„ํ•œ ์„ ๋„์ ์ธ ํ”Œ๋žซํผ์ด์ž ์ปค๋ฎค๋‹ˆํ‹ฐ๋กœ, ํŠนํžˆ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ(NLP) ๋ถ„์•ผ์—์„œ์˜ ์ž‘์—…์œผ๋กœ ์ž˜ ์•Œ๋ ค์ ธ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ๊ณ„ ํ•™์Šต ๋ชจ๋ธ์„ ๊ฐœ๋ฐœ, ๊ณต์œ  ๋ฐ ๋ฐฐํฌํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋˜๋Š” ๋„๊ตฌ, ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ๋ฐ ๋ฆฌ์†Œ์Šค๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ ์„น์…˜์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค:

  • Models: ์‚ฌ์šฉ์ž๊ฐ€ ๋‹ค์–‘ํ•œ ์ž‘์—…(ํ…์ŠคํŠธ ์ƒ์„ฑ, ๋ฒˆ์—ญ, ์ด๋ฏธ์ง€ ์ธ์‹ ๋“ฑ)์„ ์œ„ํ•ด ๋ชจ๋ธ์„ ํƒ์ƒ‰, ๋‹ค์šด๋กœ๋“œ ๋ฐ ํ†ตํ•ฉํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐฉ๋Œ€ํ•œ ์‚ฌ์ „ ํ›ˆ๋ จ๋œ ๊ธฐ๊ณ„ ํ•™์Šต ๋ชจ๋ธ ์ €์žฅ์†Œ์ž…๋‹ˆ๋‹ค.

  • Datasets: ๋ชจ๋ธ ํ›ˆ๋ จ ๋ฐ ํ‰๊ฐ€์— ์‚ฌ์šฉ๋˜๋Š” ํฌ๊ด„์ ์ธ ๋ฐ์ดํ„ฐ์…‹ ๋ชจ์Œ์ž…๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ๋ฐ์ดํ„ฐ ์†Œ์Šค์— ์‰ฝ๊ฒŒ ์ ‘๊ทผํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•˜์—ฌ ์‚ฌ์šฉ์ž๊ฐ€ ํŠน์ • ๊ธฐ๊ณ„ ํ•™์Šต ํ”„๋กœ์ ํŠธ์— ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์ฐพ๊ณ  ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค.

  • Spaces: ์ธํ„ฐ๋ž™ํ‹ฐ๋ธŒ ๊ธฐ๊ณ„ ํ•™์Šต ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๋ฐ ๋ฐ๋ชจ๋ฅผ ํ˜ธ์ŠคํŒ…ํ•˜๊ณ  ๊ณต์œ ํ•˜๊ธฐ ์œ„ํ•œ ํ”Œ๋žซํผ์ž…๋‹ˆ๋‹ค. ๊ฐœ๋ฐœ์ž๊ฐ€ ๋ชจ๋ธ์„ ์‹ค์ œ๋กœ ๋ณด์—ฌ์ฃผ๊ณ , ์‚ฌ์šฉ์ž ์นœํ™”์ ์ธ ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ๋งŒ๋“ค๊ณ , ๋ผ์ด๋ธŒ ๋ฐ๋ชจ๋ฅผ ๊ณต์œ ํ•˜์—ฌ ๋‹ค๋ฅธ ์‚ฌ๋žŒ๋“ค๊ณผ ํ˜‘์—…ํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•ฉ๋‹ˆ๋‹ค.

TensorFlow Hub๋Š” Google์—์„œ ๊ฐœ๋ฐœํ•œ ์žฌ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ๊ธฐ๊ณ„ ํ•™์Šต ๋ชจ๋“ˆ์˜ ํฌ๊ด„์ ์ธ ์ €์žฅ์†Œ์ž…๋‹ˆ๋‹ค. ๊ธฐ๊ณ„ ํ•™์Šต ๋ชจ๋ธ, ํŠนํžˆ TensorFlow๋กœ ๊ตฌ์ถ•๋œ ๋ชจ๋ธ์˜ ๊ณต์œ  ๋ฐ ๋ฐฐํฌ๋ฅผ ์šฉ์ดํ•˜๊ฒŒ ํ•˜๋Š” ๋ฐ ์ค‘์ ์„ ๋‘ก๋‹ˆ๋‹ค.

  • Modules: ์‚ฌ์šฉ์ž๊ฐ€ ์ด๋ฏธ์ง€ ๋ถ„๋ฅ˜, ํ…์ŠคํŠธ ์ž„๋ฒ ๋”ฉ ๋“ฑ๊ณผ ๊ฐ™์€ ์ž‘์—…์„ ์œ„ํ•ด ๋ชจ๋“ˆ์„ ํƒ์ƒ‰, ๋‹ค์šด๋กœ๋“œ ๋ฐ ํ†ตํ•ฉํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐฉ๋Œ€ํ•œ ์‚ฌ์ „ ํ›ˆ๋ จ๋œ ๋ชจ๋ธ ๋ฐ ๋ชจ๋ธ ๊ตฌ์„ฑ ์š”์†Œ์˜ ๋ชจ์Œ์ž…๋‹ˆ๋‹ค.

  • Tutorials: ์‚ฌ์šฉ์ž๊ฐ€ TensorFlow Hub๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋ชจ๋ธ์„ ๊ตฌํ˜„ํ•˜๊ณ  ๋ฏธ์„ธ ์กฐ์ •ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์ดํ•ดํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋˜๋Š” ๋‹จ๊ณ„๋ณ„ ๊ฐ€์ด๋“œ ๋ฐ ์˜ˆ์ œ์ž…๋‹ˆ๋‹ค.

  • Documentation: ๊ฐœ๋ฐœ์ž๊ฐ€ ์ €์žฅ์†Œ์˜ ๋ฆฌ์†Œ์Šค๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ํ™œ์šฉํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋˜๋Š” ํฌ๊ด„์ ์ธ ๊ฐ€์ด๋“œ ๋ฐ API ์ฐธ์กฐ์ž…๋‹ˆ๋‹ค.

Replicate๋Š” ๊ฐœ๋ฐœ์ž๊ฐ€ ๊ฐ„๋‹จํ•œ API๋ฅผ ํ†ตํ•ด ํด๋ผ์šฐ๋“œ์—์„œ ๊ธฐ๊ณ„ ํ•™์Šต ๋ชจ๋ธ์„ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•˜๋Š” ํ”Œ๋žซํผ์ž…๋‹ˆ๋‹ค. ๊ด‘๋ฒ”์œ„ํ•œ ์ธํ”„๋ผ ์„ค์ • ์—†์ด ML ๋ชจ๋ธ์„ ์‰ฝ๊ฒŒ ์ ‘๊ทผํ•˜๊ณ  ๋ฐฐํฌํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•˜๋Š” ๋ฐ ์ค‘์ ์„ ๋‘ก๋‹ˆ๋‹ค.

  • Models: ์‚ฌ์šฉ์ž๊ฐ€ ํƒ์ƒ‰ํ•˜๊ณ  ์‹œ๋„ํ•˜๋ฉฐ ์ตœ์†Œํ•œ์˜ ๋…ธ๋ ฅ์œผ๋กœ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ๋ชจ๋ธ์„ ํ†ตํ•ฉํ•  ์ˆ˜ ์žˆ๋Š” ์ปค๋ฎค๋‹ˆํ‹ฐ์—์„œ ๊ธฐ์—ฌํ•œ ๊ธฐ๊ณ„ ํ•™์Šต ๋ชจ๋ธ์˜ ์ €์žฅ์†Œ์ž…๋‹ˆ๋‹ค.

  • API Access: ๊ฐœ๋ฐœ์ž๊ฐ€ ์ž์‹ ์˜ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜ ๋‚ด์—์„œ ๋ชจ๋ธ์„ ์‰ฝ๊ฒŒ ๋ฐฐํฌํ•˜๊ณ  ํ™•์žฅํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•˜๋Š” ๊ฐ„๋‹จํ•œ API์ž…๋‹ˆ๋‹ค.

Last updated