AI의 본질은 지능이 아니라는 점에 동의합니다.

그냥 새로운 정보 창출이라는 점에서 본문에서 '정보싸개' 정도로 표현한 것이죠.

정보를 수집하는 새로운 방법이 나온다면:현행 방식인 인터넷 무차별적 크롤링보다 진보된 방식, 수명연장이 가능할지도 모르겠습니다. 사실 그것을 더 원하는 부류도 있을것이고요. 

AI 구현을 위해서는 단순한 정보 이론으로 접근하면 한계가 뚜렷하리라는 것이 저의 생각입니다.

지성을 갖는, 지능 구조;뇌와 신경계의 존재가 이미 알려져 있는데 그것에 대한 연구가 선행되지 않는다면 효율적으로 지성 구현은 거의 불가능하겠죠. 

이런 관점에서 칩셋 성능은 단순히 현행 방식의 '사소한' 개선점에 불과하기에 동감합니다.

그런 점에서 AI는 딜레마에 처해 있다고 봐요.

지금 이대로라면 AI는 결국 차별적이지 못한, 여태까지 있었던 알고리즘과 크게 다를 바 없는 획일적인 답변을 내놓게 되는 결과가 나올텐데

그럼 이런 딜레마가 발생하게 됩니다.

AI가 동일한 질문에 대해

같은 답변을 내놓으면

사람들은 이거 순 깡통 아냐? 별로 쓸모없군.

이라고 생각할 것이고

동일한 질문에 대해 매번 다른 답변을 내놓으면

이거 일관성이 없네? 이래서 써먹겠어?

라고 하기 때문에 참 AI개발자들도 힘들 것 같습니다만 어쨌든 이게 가장 큰 한계점이라고 보이네요.

현재의 LLM, 즉 AI라고 접근하는 인터페이스에 대해서는 사실 대화가 가능하다는 점으로부터 고평가가 되었다는 생각이 듭니다. 저건 지능이 없습니다. 아니, 지성이라고 부를만한 것이 있더라도 미미할 것입니다.

영상에서도 나오는 바이지만, 인간 대 인간으로 대화하는 것과는 달리, LLM의 매커니즘은 투명합니다. 다시 말해, 너무나도 단순합니다. 단어와 단어를 얼기설기 잇는 수준인 것입니다. 다만, 이렇게 밀도 낮은 지능에도 불구, 효용성이 있는 것은 단순히 다루는 영역이 방대하기 때문입니다. 인간으로서는 범접할 수 없는 정보의 용량으로 인해 특정 부분에서는 효용성을 드러낼 수 있는 것이라고 생각합니다. 

실질적인 지성을 구현하기 위해서는 학제간 연구가 필수적이라는 관점은 이러한 특성에서 비롯한 생각입니다. 

그렇죠..실제로도 그런 부분이 제일 힘듭니다. BERT를 처음 접했을 때가 생각나는데, 그때만 해도 정말 경악스러운 성능이 나와서 다들 NLP는 끝났다는 말을 많이 나왔어요. 그러다가도 불과 몇개월만에 한계점들이 쏟아져 나왔고, 또 그것들을 해결하지 못해서 전전긍긍했던 기억이 있네요. 물론 그러다가 GPT로 대표되는 NLG의 시대가 왔지만요. 사실 모든 학문이 그렇겠지만, 그런 한계를 극복해가면서 발전하는 게 아닌가 싶어요. 

제대로 이해했는가 모르겠네요 ㅋㅋㅋㅋㅋㅋ(너무 전문적이십니다.)

AI를 다루는 절대적인 기술력의 확보가 되지 않는 상황에서 멀티모달, 즉 다기능에 초점을 두면 데이터 활용의 효율(Raw/Rich 데이터 비율로 생각해도 무방하겠죠?)이 부족할 것일 것이고, 이 데이터 효율에 초점을 두기 위해 부분적이고 로컬적인 데이터 처리, 즉 데이터 처리 모델 구축도 염두에 두고 있다는 것으로 이해하고 있씁니다. 

저야 뭐 정보 처리 분야에는 문외한에 가까우니 AI가 구현하고자 하는 목표인 AGI 도달에 대해서 정보 처리 이론을 기반으로 한 연구 관점이 부족하지 않을까 하는 생각이 있습니다. 실질적으로 지성을 포함하는 회로인 인간 신경계 연구가 지성을 부여하고자 하는 목표에 가까워질 수 있는 방법이 될 수 있으리라고 생각하고요.

그러나, 이것만으로 한계가 부여되지는 않으리라는 생각도 동시에 듭니다. 생물학 분야에서 기초적인 감각 연구인 바이오 센서를 비롯하여 제가 생각하는 방법인 신경계 연구에도 현재의 딥러닝 모델이 개입할 여지가 충분하니까요. 인류의 감각을 보조하는 역할로서의 현재 AI 모델은 경쟁력이 있고 가치가 있다고 생각합니다. 

사실 지금껏 모델 학습을 위해 정보를 수집하는 과정에서 단순히 '딸깍' 이상의 공이 들어갔다고 생각하지 않습니다. 즉, 너무 쉽게 정보를 수집해왔던 것 뿐이고, 저 연구는 현재 AI 모델에 대한 메타적 관점일 뿐 방향성에 대한 인사이트를 제공하지는 않는 것 같습니다. 단지 앞으로 정보 수집을 하는 방법에 대해서 더 많은 궁리가 필요할 뿐이겠죠.

맞아요. 실제로 많은 연구자들은 AGI의 궁극적 방향성을 지금과 같은 트랜스포머기반 스케일업에서 찾고 있지는 않다고 생각해요. 개인적으로도 지금과 같은 MLP-트랜스포머 구조만으로 AGI에 도달할 수 있는지에 대해선 조금 회의적이기도해요. 괜히 네임드급 석학들이 트랜스포머 개선보다 self-supervised 학습론쪽으로 방향을 틀고 있는 게 아니죠...

지극히 개인적인 사견으로는 저도 AGI에 대한 궁극적 해답은 딥러닝쪽에 있는 게 아니라, 인지과학에 있다고 생각해요. 결국 AGI에 대한 가장 러프한 합의점은 '인간의 사고 과정'이고, 결국 그 인간의 사고를 모사한다는 목표를 잡는다면, 그보다 먼저 '인간의 사고 과정'이 정확히 뭔지를 정의하고 규명하는 단계가 선행돼야 할 거에요. 그래야 그걸 정확하게 모사할 수 있는 거니까요. 그 점에서 말씀처럼 흔히 말하는 인지과학에서의 학제간 교류가 중요한 거고요. 실제로 오늘날 딥러닝의 모든 성과는 20세기초에 신경 전달 메커니즘을 발견한 것에서 비롯된 것이기도 하죠..

사실 인간이라는 생물은 지구가 생긴 이래로 수십억년의 생물 진화의 산물인데

그 수십억년과 비교하면 찰나의 순간에 인공지능이라고 불릴 수 있을만한 성과를 낸 것도 대단하긴 해요.

하지만 선생님 말씀처럼 진짜 AGI로 가기 위해서는 딥러닝으로 흉내만 내는 대신 진짜 인간의 인지구조를 모사할 수 있는 수단이 되어야 할 텐데

애초에 이 인간의 사고구조가 어떤 식으로 작동하는지 원리같은 것이 규명되지 않은 상태에서는

명확한 한계가 있다고 보여집니다.

선생님 말씀대로 인지과학이나 의학과의 연계도 중요할 것 같구요.

하지만 인간의 인지구조를 파악하는 것이 가장 어려운 일이니만큼 AGI로 가는 과정은 생각보다 더 오래 걸릴 것 같아요.