로그인 해주세요.

미니기기 / 음향 게시판 *스마트폰과 PC, 카메라, 스피커 등 IT 미니기기와 음향기기에 관해 교류하는 게시판입니다.

십사프로씁니다

미니 결국 AI 모델도 폰노이만 구조를 따라가네요

제목은 조금 설레발입니다

유튜브에서 재밌는 영상을 봐서 여기에 요약해봅니다.

 

출처: 

https://youtu.be/qoKggLbjkGU?si=CwacrCIrz9MTS2m0

 

-----------------------------------------------------------------------------------

 

구글에서 차세대 AI 모델인 Titans를 공개했는데요

이는 기존의 트랜스포머 구조 이후의 혁신적인 접근법을 제공합니다.

 

트랜스포머 구조는 아래와 같습니다.

image.png

첫번째 공간에 단어가 적히면, 다음 공간에 올 가장 높은 확률의 단어를 깔고

첫번재, 두번째 공간의 단어를 이용해서 세번째 공간에 올 가장 높은 확률의 단어를 깔고

첫번째, 두번째, 세번째 공간의 단어를 이용해서 네번째 공간에 올 가장 높은 확률의 단어를 깔고...

(반복)

 

이때 한번에 처리할 수 있는 토큰(단어와 비슷)의 수를 Context Window라고 부릅니다. 한국어로는 맥락 윈도우? 라고 할 수 있겠네요.

 

예를들어 Context Window가 100개의 토큰을 처리할 수 있으면 200개의 토큰길이의 단어를 넣으면

AI 모델은 200개 토큰 길이의 말의 전체 맥락을 이해할 수 없는 '구조적인 문제'가 있습니다.

 

즉 긴 문장의 맥락 파악도 어렵고, 반대로 '장기 기억(과거 데이터 상실 = Context Window가 부족하기 때문)' 하는데에도 굉장히 취약한 구조를 갖고있습니다.

이 한계를 돌파하고자 Context window를 구글에서는 엄청나게 늘리고 했지만, 결국 근본적인 해결은 못하고 있는 상황이고, 너무나 많은 GPU가 동시에 작동해야하고 하드웨어끼리의 Latency 등등의 발생으로 현실적으로 활용하기 어려워지고 있죠.

이게 트랜스포머 모델의 태생적 한계라고 합니다.

 

하지만 구글의 차세대 AI 모델 Titans은 이 구조를 해결하기 위해서 새롭게 고안되었다고 합니다.

아래의 사진은 폰노이만 아키텍쳐인데요

 

image.png

 

폰노이만 아키텍쳐는 CPU 내부에서(Register, SRAM 등) 자주 쓰는 것들을 올려다놓고 바로바로 활용하고

그 이상의 용량 중 빠르게 활용해야 하는 것들은 RAM에 올려놓고 활용하고

그것보다 중요하지 않은 내용들은 SSD나 HDD에 저장해놓고 있습니다.

 

기존의 트랜스포머 모델은 CPU 내부에서만 모든것을 처리하려하는 것과 같습니다.

 

이 구조에서 착안하여 Titans은 장기 기억을 할 수 있는, '메모리 공간' 개념을 도입했습니다.

Neural Memory 라고 부릅니다

장기 기억을 할 수 있는 어떤 독립적인 공간, Context를 넘어가더라도 기억이 필요한 내용.

사람이 공부해서 기억을 하는것과 비슷하다고 할 수 있습니다.

 

문제는 Neural Memory가 너무 비대해지면, 결국 메모리를 제외한 일반 트랜스포머 모델 부분의 성능이 저하될 가능성이 있습니다. 아무거나 저장하면 오히려 안좋을 수 있다는 거죠.

그럼 핵심은 여기에 있습니다. "어떤 것을 Neural Memory에 저장해야하는가?"

 

여기서 구글은 Surprise Metric을 Neural Memory에 저장한다고 합니다.

 

"예상한 값"과 "실제 값"의 차이가 큰 것들의 경우 Surprise Metric으로써 Neural Memory에 저장한다고 합니다.

사람도 비슷하죠. 예상한 결과와 실제 결과가 다를때 놀라움을 느끼는데, 이러한 기억은 강하게 저장됩니다.

근데 신기하게 여기서 망각 매커니즘도 넣었다고 하네요. 중요한 데이터를 저장하며, 불필요한 정보는 지우면서 어댑티브하게 작동한다고 합니다.

 

image.png

 

구글에서 밝힌 결과를 보면 입력단 Length가 길어져도 Titans는 정확도를 여전히 높게 가져가는걸 볼 수 있습니다.

(웃긴건10^3에서 GPT-4가 Titans(MAC)보다 좋네요 ㅋㅋ)

 

 

아무튼 그렇습니다.

 

구글에서 트랜스포머 모델의 태생적 한계를 돌파하고자 내놓은 Titans 모델을 보면

결국 폰노이만 아키텍쳐를 따라 Memory 개념을 도입하는군요.

 

폰 노이만 그는....!

댓글
11
함우
1등 함우
2025.01.20. 23:49

기존 뉴럴 구조는 memory hierarchy를 따르지 않았나요? DRAM용량이 중요하다길래 스토리지까지는 아니어도 메인메모리는 적극적으로 사용할줄 알았는데..

[함우]님의 댓글을 신고합니다. 취소 신고
Eomjunsik
Eomjunsik 함우 님께
2025.01.21. 00:00

DRAM은 스왑 느낌으로 끌어다 쓰는 정도이고 모델 파라미터 전체를 VRAM에 올려놓는게 기본입니다.

따라서 context window가 증가함에 따라 VRAM 요구량이 같이 증가하는 문제가 있죠.

[Eomjunsik]님의 댓글을 신고합니다. 취소 신고
Oxc.suga
best 2등 Oxc.suga
2025.01.21. 00:17

아직 AI 분야는 아키텍쳐 구축에 인력(상상력이죠 사실상)이 들어갈 여지가 많이 보여서 즐겁습니다.

난해하지만, 이해하려고 시도해보면 재미있네요.

---

토큰 처리(정보 흐름)에 있어 논리적 계층을 도입하고자 하는게 Titan 모델의 논점인 듯 하네요. 그리고, 이 부분에 있어 폰노이만 계통 컴퓨터와 유사점이 있다는 논지로 들립니다.

이 점에선, 그럼에도 아직 갈 길이 멀어보이네요. 최적화할 여지가 많겠죠, 아무래도.

그러나, 미래만 보자면 context 증가에 비해 성능 낙폭이 적은 게 핵심적인 포인트일테고요.

[Oxc.suga]님의 댓글을 신고합니다. 취소 신고
살살녹는동파육
3등 살살녹는동파육
2025.01.21. 00:27

그래프에 따라 범례 달라지는거 최악이네요...ㅋㅋㅋㅋㅋ

[살살녹는동파육]님의 댓글을 신고합니다. 취소 신고
에이비12
에이비12
2025.01.21. 07:10

양질의 정보 너무 감사합니다~

[에이비12]님의 댓글을 신고합니다. 취소 신고
하루옹
하루옹
2025.01.21. 08:59

구글의 Titans은 가장 근접하게 사람의 뇌를 모사하는 수준까지 온거네요.

장기 기억과 망각이라니 정말 터미네이터의 스카이넷이 조만간 나오겠네요......ㄷㄷㄷ

[하루옹]님의 댓글을 신고합니다. 취소 신고
쌍피ㄷㄷ
2025.01.21. 10:32

사실 읽어보면서 본질적으로 기존의 RNN이나 LSTM과 좀더 유사한 개념이지 않냐는 생각이 들더라고요. 어떻게 보면 RNN이나 LSTM도 결국 기존 MLP에서 시퀀셜 정보를 처리하기에 한계가 왔을 때 제안된 방법이라, 타이탄도 트랜스포머로 시퀀셜 정보를 처리하기에 한계가 왔다는 신호로 받아들일 수 있지 않을까 싶기도 함다

[쌍피ㄷㄷ]님의 댓글을 신고합니다. 취소 신고
RuBisCO
RuBisCO
2025.01.21. 11:27

이제 VRAM 용량 작은 친구들도 끌려가는 미래가 보이는군요.

[RuBisCO]님의 댓글을 신고합니다. 취소 신고
나르자
나르자
2025.01.21. 12:35

망각메커니즘이 핵심 요소가 될거 같은데 말이죠

[나르자]님의 댓글을 신고합니다. 취소 신고
TODO
TODO
2025.01.21. 14:16

결국 AI는 사람을 탐구하고 시뮬레이팅 하면서 발전해 가는 것 같네요.

참 신기하네요.

[TODO]님의 댓글을 신고합니다. 취소 신고
noop
noop
2025.01.21. 15:11

Transformer 자체도 Turing Complete 하다는 얘기가 있어요.

[noop]님의 댓글을 신고합니다. 취소 신고
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 공지 사이트 이용 수칙 241018 수정 file admin 18.08.04 123213 13
핫글 미니 저도 곧 받읍니다. [4] file BarryWhite 13:07 456 16
핫글 미니 S25 대강 은빡씽 [3] file AV_Lover 15:19 584 15
핫글 미니 ai 생성형 지우개 너무 좋아요 (oneui7 s25u) [7] updatefile 펄럭펄럭 17:46 396 12
225628 미니 삼성강남 후기 [3] file 닉포토 25.02.07 982 8
225627 미니 S23 & S22 2월 보안패치 빌드 있네요 [2] 감비아도나츠 25.02.07 475 2
225626 미니 삼성 강남에서 스마트태그2 구입했습니다(+장문의 방문소감) [7] 드기드기 25.02.07 558 0
225625 미니 S25U 다크모드 전환될때도 안버벅거리네요 [1] 하나림 25.02.07 491 0
225624 미니 잡담: S21U~S25U 역대 색상 [13] file Section31 25.02.07 840 5
225623 미니 애플에서 안드로이드로 이동시 데이터 이동 방법 문의드려요 [4] 욜라뽕따이 25.02.07 387 0
225622 미니 곱디고운 아이스블루 🩵 [7] file 빅코 25.02.07 1072 15
225621 미니 소니 lyt 900 1/0.98 가변조리개 센서..ㄷㄷ [3] S27울트라존버 25.02.07 487 1
225620 미니 유튜브 뮤직 메인 재생화면이 바뀌었네요 file Niflheimr 25.02.07 416 3
225619 미니 원플이냐.. 오포냐.. 뭐 같지만.. Oppo Find N5도 IPX9라네요 [2] file 스퀴니 25.02.07 381 1
225618 미니 잡담: One UI 7부터 (PC용) 덱스 미지원이군요. [14] Section31 25.02.07 970 0
225617 미니 형님들 이정도 가격차이면 뭘로 바꾸는게 맞을까요? [9] FNSAWTA 25.02.07 511 0
225616 미니 삼성 월렛 업데이트했는데... [3] file Gos좀... 25.02.07 799 1
225615 미니 국내외 할거 없이 S25 는 슈x겐이 엄청 스폰 해줬나봐요 [6] AquStar 25.02.07 1256 3
225614 음향 오픈핏2도 무선 충전이 안 되는군요... [7] file MrGom™ 25.02.07 281 1
225613 미니 왔어요 왔어요 문자가 왔어요 [4] [성공]함께크는성장 25.02.07 569 0
225612 미니 Samsung Wallet 디자인 복구되었습니다. [9] file 두꺼비감자칩 25.02.07 1070 3
225611 미니 직접 찍은 픽셀 7 프로 샘플샷들 [3] file RASBI 25.02.07 374 7
225610 미니 삼성 월넷 업데이트로 디자인이 바뀌었네요 [4] file 트릴리언 25.02.07 685 0
225609 미니 OP13이 뒷판이 플라스틱인거랑 달리 내부 방열구조는 굉장히 빡세게 만들어져있군요. [4] RuBisCO 25.02.07 427 2
225608 미니 데쉐 사용하려고 어제 유플 본가로 번이했다 바로 취소했습니다.. [6] file 스퀴니 25.02.07 256 1
225607 미니 New 갤럭시 AI 구독클럽 반납기준, 삼케플 적용 기준 정리 [6] file JamesBlake 25.02.07 626 2
225606 미니 플립6는 언제 원UI 7 먹을 수 있을까여? [5] 크로아츠 25.02.07 409 2
225605 미니 "갤럭시S25 출하량 목표 4천만 대…전작보다 10% 높아" [4] 요트맨 25.02.07 643 1
225604 미니 스냅8엘리트가 인텔 12400f보다 싱글멀티 다 높은가요? [2] aleji 25.02.07 620 2

스킨 기본정보

colorize02 board
2017-03-02
colorize02 게시판

확장 변수

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.