로그인 해주세요.

IT 소식 *최신 IT소식을 보거나 등록하실 수 있습니다.

BarryWhite

소식 LLM 단일 파일로 배포‧실행, 처리 능력 10배 향상

대규모 언어 모델(LLM)을 단 4GB 정도 실행 파일 하나로 손쉽게 배포하고 실행할 수 있게 해주는 패키지인 라마파일(llamafile) v0.7이 공개됐다. 이번 버전에선 CPU와 GPU 모두 계산 성능과 정확도가 향상됐으며 AVX-512 명령어 세트 아키텍처 지원으로 AMD 젠4(Zen4) 아키텍처 CPU 등에서 프롬프트 처리 시간이 10배 빨라졌다고 한다.

 

라마파일은 대부분 시스템에서 실행 가능한 단일 파일로 LLM을 제공해 개발자와 엔드유저가 LLM을 손쉽게 배포하고 활용할 수 있도록 해주는 방식이다.

BarryWhite
살짝 내려놓고 지박령 활동하겠습니다😆
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다.
댓글
0
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 소식 IT 소식 게시판 이용 수칙 230127 admin 19.11.15 9 49167
핫글 소식 도지코인 모델견 카보스 세상 떠났다 [5] update 뉴스봇 24.05.24 6 365
핫글 소식 피자에 접착제를?…구글 검색 요약 기능, '엉터리 답변' 술술 뉴스봇 24.05.24 1 266
58848 소식 삼성디스플레이, 중국과 모바일 OLED 경쟁 심화...인력 확대 투입 [3] BarryWhite 24.04.05 3 589
58847 소식 미국, ASML의 중국 판매 장비 사후 지원 중단 원해 BarryWhite 24.04.05 1 331
58846 소식 집보다 확실한 담보는 GPU...람다, H100 담보로 6500억 대출 받아 [3] BarryWhite 24.04.05 1 574
58845 소식 방통위: 국민 1인당 불법 스팸 월 13건꼴 수신 BarryWhite 24.04.05 3 267
58844 소식 삼성전자, 美 미시간주에 車 반도체 사업소 개소...북미 완성차 공략 BarryWhite 24.04.05 0 288
58843 소식 이통사에 치이고 금융권에 밀리고...영세 알뜰폰 사업자 어쩌나 BarryWhite 24.04.05 0 206
58842 소식 중국 ATP 집단, 신종 멀웨어 UNAPIMON 백도어로 방어 회피 뉴스봇 24.04.05 0 153
58841 소식 '거래정지' 한송네오텍 공개매각, 순탄치 않을 듯 뉴스봇 24.04.05 0 175
58840 소식 AI가 만든 이미지처럼 보이게 않게 하라...광고 업계 고군분투 [1] BarryWhite 24.04.05 0 425
58839 소식 AMD, 라데온 RX 8000 시리즈 그래픽 카드용 Navi 48 RDNA4 확정 BarryWhite 24.04.05 0 245
58838 소식 인텔 XeSS 1.3 SDK 출시...성능 향상, 모델 업데이트 및 새 프리셋 제공 BarryWhite 24.04.05 0 115
58837 소식 애플, 애플카 인력 추정 600명 이상 직원 해고 확정 BarryWhite 24.04.05 2 390
58836 소식 MS 엣지 브라우저, 최대 RAM 사용량 제한 기능 테스트 BarryWhite 24.04.05 0 224
58835 소식 엔비디아, 콜옵 시즌3와 디아블로 IV 레이 트레이싱 지원 시작 [2] BarryWhite 24.04.05 0 198
58834 소식 삼성전자, 엔비디아 2.5D 패키지 물량 드디어 확보 BarryWhite 24.04.05 0 294
58833 소식 LG전자, 1분기 잠정 매출액 21조959억원…역대 1분기 최대 [1] BarryWhite 24.04.05 0 220
58832 소식 삼성전자, 2024년 1분기 잠정실적...영업익 6조6000억원 [1] BarryWhite 24.04.05 1 211
58831 소식 X-실리콘, 새로운 C-GPU 아키텍처 공개 [1] BarryWhite 24.04.05 0 240
58830 소식 Fairphone, 출시국가 확대 및 중가형 모델 예고 file Stellist 24.04.05 0 161
58829 소식 “2023년 악용된 제로데이 취약점, 전년 대비 50% 이상 증가” 구글·TAG 공동 보고서 뉴스봇 24.04.05 0 89
58828 소식 “IT 서비스 중단의 주요 원인은 네트워크 및 연결 문제” 업타임 인스티튜트 조사 뉴스봇 24.04.05 0 170
58827 소식 바이러스가 의심될 때 PC와 LAN 케이블을 분리해야 하는 이유 뉴스봇 24.04.05 0 271
58826 소식 더 뜨거워진 양자 컴퓨팅 경쟁…MS “역대 가장 안정적인 큐비트” 뉴스봇 24.04.05 0 169
58825 소식 “미리 대체 앱을 찾아 두자” 윈도우에서 삭제될 기능 10가지 뉴스봇 24.04.05 0 385
58824 소식 대만 강타한 지진… “칩 공급 및 제조에 차질은 없을 듯” 뉴스봇 24.04.05 0 157
58823 소식 디즈니+와 훌루, 6월부터 비밀번호 공유 차단 기능 도입 BarryWhite 24.04.05 0 327
58822 소식 애플, 5월 2일 실적 발표...비전 프로 출시 이후 처음 BarryWhite 24.04.05 0 304
58821 소식 애플, WWDC 2024 애플 파크 스페셜 이벤트 초청 이메일 발송 file BarryWhite 24.04.05 0 252
58820 소식 오픈AI, 미세 조정 API에 새 기능 추가...확장된 맞춤형 모델 프로그램을 발표 BarryWhite 24.04.05 0 160
58819 소식 시스코, MS-구글-인텔-IBM 등과 AI 기반 IT 인력 컨소시엄 구성 BarryWhite 24.04.05 0 137

스킨 기본정보

colorize02 board
2017-03-02
colorize02 게시판

사용자 정의

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.

서버에 요청 중입니다. 잠시만 기다려 주십시오...