# 자동자막(ko, YouTube 자동 생성) — https://www.youtube.com/watch?v=wRgJPO_qIT4
# 제목: 될듯 말듯... 결국 갈아엎고의 반복 | 현시점 AX 접근 방식의 태생적인 한계와 해결방안 설계 발표 / 채널: 양실장의 바이브코딩대학 / 업로드 2026-09-08 / 31:10 / 추출 2026-09-19 yt-dlp
# 30초 단위로 묶음. 자동자막이라 용어 오인식이 있음(예: 안묵지→암묵지, 디트윈→딥트윈, 제한서→제안서).

[0:00] 여러분들이 AI로 무언가 자동화를 하려고 할 때 어떤 과정을 통해서 이게 점점 어려워지고 결과적으로는 포기하게 되는지 과정을 제가 한번 설명을 해 보겠습니다. 아마 여러분들이 뭔가 나만의 에이전트를 만들어서 나의 어떤 업무를 자동하려고 하는 과정에서 성공적으로 그게 끝나는 경우도 있겠지만 어느 정도의 복잡도를 가진 업무를 자동화를 하는 경우에는 많은 분들이 어느 정도 선에서 타협을 하는 경험 그리고 어느 생가 다시 또 새로 에이전트를 만들게 되는 이런 반복적인 경험들을 분명히 하고 계실 거라고 생각을 합니다. 저도 그랬고요. 그 과정을 제가 한번
[0:30] 설명을 드릴 거고요. 그 한계가 어디서 오는지 분석해 드릴 거고 그 분석된 한 개를 어떻게 하면 뛰어넘을 수 있다라고 제가 이번에 디트윈을 설계하는 과정에서 결론을 도출했는지 더 나아가서 이것을 제가 그냥 개념적인 전달로만 끝내지 않고요. 제가 만드는 오픈 소스를 통해서 직접 구현할 수 있는 소스 코드를 곧 공개할 예정이거든요. 그 프레임워크가 어떻게 설계되었는지까지 오늘이 영상을 통해서 전달드려 보도록 하겠습니다. 제가 어 제 올해 상반기 진행을 했던 커리큘럼의 앞에 공통 과정이라고
[1:00] 있었어요.이 공통 과정에 이제 시수가 있는데 마지막 시수에 뭐가 있냐면 또는 뭐 등을 통해서 어 lm 기반에 에이전트를 만들어 보거나 또는 뭐 AI 사스 이건 정석 강의 3강에서도 사실 제가 다뤄 썼죠. 이런 거 한번 만들어 보는 걸로 이렇게 내용이 구성이 되어 있었습니다. 현재는이 공통 과정은 어 더 이상 진행이 되고 있지 않지만요. 그럼 그때 어 많은 분들이 보통 어떤 식으로 접근을
[1:30] 하냐면요.이 레그 기반으로 할 때는 어떤 매뉴얼 같은 것들을 가져와서 얘를 청킹 잘라 가지고 벡터화시키고 뭐 채에서 이제 뭐라 물어보면은 이제이 내용에 의거해서 응답하는 식으로 이렇게 주거니 받거니 채을 채포을 만드시는 분들도 있고요. 경우에 따라서는 이제이 LM을 기반으로 해서 뭔가 자동화를 해 주는 하나의 어떤 어 프로세스 한 단위를 만들려고 시도를 하시는 분들 계세요.이 AI 사스 만드실 때도 당연히 그런 것들은 들어갈 수가 있겠고요. 그럼 이때 우리가 만드는 것은 에이전트입니다. 물론이 체포도
[2:00] 채포 에이전트죠. 에이전트의 정의가 무엇인지에 대해서는 여러 말들이 있으나 뭐 어느 정도 합의된 내용은 그건 거 같아요. 어 사람의 개입 없이 환경을이 프로그램이 관찰하고서 어 자기가 무슨 행동을 할지 결정하고 실질적인 산출까지 해내는 그런 이제 일련의 과정을 능동적으로 자기가 한다. 뭐 이런 이제 개념을 갖고 있는 프로그램이면 그걸 우리가 에이전트라고 부른다라고 얘기를 하는 거 같습니다. 이제 에이전트를 만들려고 들 때 그럼 어떤 식으로 이제 이거 실제 만들게 되시냐? 코덱스나 클로드의 프롬프트에다가 나 어떤 식의 지금
[2:30] 업무가 있고이 업무에이 부분을 이런 프로세스로 처리해 주는 자동화된 어 파이프라인을 만들고 싶어 에이전트를 만들고 싶어 이런 식으로 요청을 합니다. 그럼 이제 요렇게 되면은 아마 100이면 100 어떤 어 무엇이 이제 그 과정에서 이루어지느냐 결과적으로는이 AI는 아마 여러분들에게 하나의 스킬을 만들어 주게 될 겁니다. 스킬이 뭔가요? 하나의 마크다운 파일인데 어 LM이 반복적으로이 여기에서 정의 내리는 어떤 프로세스를 반복적으로 이제 할 수 있도록 만들어주 템플릿 같은 거죠. 그래서 구성은 앞에 프런트
[3:00] 메터라고 해서이 스킬 이름 뭐고 언제 사용하는 거고 이런 것들이 정의가 되어 있고 어떤 인풋을 어떤 식으로 받아서 어떤 프로세스를 통해서 어떤 결론을 조출해서 일을 끝낸다. 이런 식으로 하나의 업무 세트가 이렇게 구성이 되어 있는 거. 얘가 이제 여러분들이 알고 있는 스킬.md가 MD가 되겠습니다. 그 이제이 안에서 어 제가 좀 요만큼이라고 표현했지만 뭐 되게 길죠. 사실 그래서 뭐 플러세스도 과정에서도 이제이 뭐 하면 안 되는 거 뭐 이런 걸 여기다 쓸 수도 있고 다양한 지침들이 함께 존재를 하게 됩니다. 여러분들은 이제 이것을 만들고 이것을 감싸고 있는
[3:30] 한네스 같은 것도 구성을 할 수가 있고 이게 결과적으로는 하나의 어떤 어 하나의 웹 UI로서 버튼을 누르면은 그 결과가 이렇게 나오는 어떤 이런 식의 UI가 달려서 함께 나올 수가 있게 되겠죠. 그래서 이제 여러분들이 여기다가 테스트를 한번 해 봅니다.이 Q라고 해 볼게요. Q 작업 Q를 날린다라는 거예요. Q를 한번 날려 봅니다. 지금 내가 예를 들어서 어 나 제한서 작성해 주는 어떤 자동화 에이전트, 제한서 에이전트 이런 걸 해봤다 쳐 볼게요. 제한서 에이전트. 그럼 이때 나의 이제 목표는 얘한테 뭐라 그랬냐면은
[4:00] 야 내가 고객사 고객 뭐 고객사 정보랑 그리고 우리 서비스 패키지 정보 그리고 나의 커멘트 이렇게 세 가지 정도 입력해서 딱 넣으면 네가 예쁘게 제한서 만들어 줘. 아 뭐 이것도 있겠네. 제한서 템플릿도 줄 수 있겠네요. PP2로 됐든 뭐로 됐든네 뭐 이렇게네 개를 넣으면은 예쁜 제한서가 하나 딱 완성되는 걸로 우리가 생각을 해보 어 그런 에이전트를 만들어 달라고 했다고 해 볼게요. 이제 첫 번째 테스트를 해 봅니다. 준비된네 개의이 첨부 파일을
[4:30] 넣고 아 세 개의 첨부 파일과 나의 코멘트 넣어서 딱 요청을 합니다. 그러면은요 과정에서이 에이전트를 만들 때이 내용에 심혈를 기울어서 열심히 만들었어요. 다들 그렇게 하시겠죠? 막 메모장도 열어 가지고 내용도 정리도 해 보고 막이 내용을 뭐라고 요청할지 자체를 막 채집t데 한 번 더 물어보기도 하고 되게 다양하게 아니 뭐 PRD를 막 만들어 가지고 접근하신 분들도 있을 거고 되게 다양할 겁니다. 어쨌든 그렇게 한다라고 했을 때이 결과물로 나오는 첫 번째 리트 1번은 아마 여러분들의 만족을 어 여러분들에게 큰 만족감을
[5:00] 주진 않을 거예요. 뭐 그래도 어느 정도 부색을 맞춰서 줬네이 정도는 줄 수 있겠고 또는 여러분들이 아주 비싼 모델 뭐 최근에 나오는 아스트라 6 같은 거 막 넣어 가지고 하면은 또 뭐 어느 마음에 드는게 있을 겁니다. 그런데 문제는 사실 내가 온전히 혼자 이걸 했다라고 하면은 나오는 그 퀄리티 또는 그 방식으로는 나오지 분명히 겁니다. 그 정도 수준을 제가 50%라고 해 보겠습니다.이 50% 우리 목표는 90%로 만드는 걸 목표로 해 가지고 이제 얘를 다그치기 시작을 할 거예요, 여러분들은. 그래서 피드백을 줍니다. 피드백
[5:30] 1번을 줍니다. 그래서 얘한테 [목을 가다듬음] 피드백을이 푸론부터한테 다시 줍니다. 야, 네가 지금 만든 거 보니까 이런 이런 부분들이 부족해. 이거 에이전트가 다 잘 알아서 하게 다시 좀 해 줘. 그러면 얘는 뭘 하냐?이 이 스킬파 또 수정을 합니다. 이에 지침이 추가가 되고 하면 될 거 하면 안 될 거 집중해야 될 거 이런 것들이 막 추가가 될 수가 있어요. 그럼 이제 그걸 통해서 Q를 이제 다시 시도를 합니다. 똑같이요 세트로 해서 또 테스트를 해 봐야 될 거잖아요. 그래서 또 해 봤더니 이번에는 두 번째 결과물이 나오는데 어 75% 이렇게 올라오더라는 겁니다. 기분이 좋아요. 그래서 몇 번 더 해서 이제
[6:00] 우리가 성공적으로이 첫 번째 테스트 Q1에 대해서는 우리가 90%의 나이 만족도를 뭐 정량적인 수치가 따 딱히 있진 않겠지만 뭐 정성적인 느낌으로 어 90% 정도나이 정도 만족해가 나왔습니다. 근데 에이전트 왜 하는 겁니까? 반복적인 업무를 어느 정도 수준으로 정해 준 규칙에 따라서 나에게 자동으로 산출 해 주기 위해서 그래서 만든 거잖아요. 그럼 우리는 또 당연히 뭐 합니까? 두 번째 이것도 다 다음 주 이걸 또 한번 써 봅니다. Q2입니다. 이번에는 이제 이렇게 생긴 거랑 이제 또 나이 커멘트 해 가지고 날려 봅니다. 결과가 나왔습니다. 60%가
[6:30] 나옵니다. 어 90% 나왔던 놈이 60%로 됐네. 근데 우리는 알죠. 아 뭐 어쨌든지간에 내가이 첫 번째 테스트 케이스를 가지고 우리가 짰으니까 얘도 어떻게 이렇게 피드백 주고 다시 또 확인하고 하는 절차를 밟으면 되겠지 해서 얘도 우리가 90%로 만듭니다. 좋아. 에이전트 잘 나가고 있어. 근데 문제는 뭡니까? 이거 언제까지 반복을 할 수 있냐 하나가 있고요. 그리고 점진적으로 얘가 계속 과부화가 되게 되면은 결국엔 다시 Q를 넣어 보면 얘가 또 떨어지는 현상 80% 뭐 이런 식으로 되겠죠. 하나 찌르면
[7:00] 하나가 안 되고 어느 순간이 되면은 더 이상 옴싹달싹 못하는 어떤 딱 고정이 되어 버린 더 이상 쓰지 못한 애가 나오게 될 겁니다. 그럼 여러분들 이제 여기서 어떻게 하나요? 아, 오케이. 어, 내가 이동안 배운게 있으니까 이거 한번 다시 해 봐야지. 그럼 그때는 뭐가 될 겁니까?이 이 50%가 아니라 바로 새로 에이전트 까자마자 80%가 나오는 어떤 어 성장하는 느낌을 받을 수도 있어요. 그리고이 시점과 그 시점의 사이에 어떤 모델의 추가적인 발표가 있었다. 지금 우리가 클로드 5.1 나왔지만 있으면 또 5.2 또 나오겠죠. 뭐 그렇게 뭐 하다 보니까 어쨌든 내가 뭔가 점진적으로
[7:30] 에이전트를 잘 만든 느낌을 받을 수가 있습니다. 하지만 조금 빠르게 이런 것들을 메타인지를 하시는 분들은 어때요? 아 이거 안 되겠네. 이거 이거 뭐 에이전트로서가 아니라 그냥 그때마다 내가 그냥 프롬프트를 더 넣는 느낌밖에 안 되네. 이런 느낌을 받으실 수 있습니다. 그때부터 발전을 합니다. 어떻게 발전을 하냐? 기존에 만들었던 요거요 에이전트 하나는 사실상이 싱글 에이전트 즉 하나의 에이전트가 나의 업무 자동 업무를 하나씩 다 처리를 해 주느라이 안에 있을 그 절차들이 많은데도 불구하고이 과도화가 과다 과대화가 되어 있는
[8:00] 상태라고 어 알게 돼요. 그것을 알게 돼요. 또 왜 그래요?이 어쨌든 하나의 컨텍스트 윈도우에이 LRM이 처리가 정석 강의 보신 분들은 아시겠죠? 이게 내용이 쫙 길면은 어쨌든지간에이 어텐션이라고 하는 것의 특성상 길면 길수록 중요한 포인트를 놓칠 가능성이 점점 더 커집니다. 그래서 무엇을 하게 되냐? 우리는 멀티에트에 대한 도전을 하게 됩니다. 멀티에전트는 뭔가요?이 이 안에서 이거 하고 이거 하고 이거 하고 이거 해라고 했었던이 절차들을 각자 개별 에이전트 화로 바꾸는 거예요.
[8:30] 그래서이 안에서는 리서치하고 초안 만들고 피드백 주고 검수해서 그 통과하면은 결과줘라고 했던 거를 이제 그걸 개별 에이전트로 이렇게 다 나누게 됩니다. 그래서 리서치 뭐 검수 해서 검수 통과 못 하면은로 돌아가고 이런 뭐가 나옵니까? 통과하면은 결과물 최종 보고하고이 뭡니까? 이거 그래프가 나오죠. 우리는 그래프 엔지니어링과 루프 엔지니어링이 세 개로 가게 됩니다. 멀티이에전트의 환경을 관제하기 위한 어떤 복적지근한 UI도 만들 수가
[9:00] 있고요. 그죠? 네. 그럼 이제 이렇게 가면 이제이 문제가 온전히 해결되냐? 동일한 형태의 문제가 사실 반복이 될 수밖에 없습니다. 왜냐하면은이 과정에서 90%를이 각각의 개별화하면서이 안에서 95%까지 올린 놈들을 요렇게 만들었다 쳐 보겠습니다. 그럼이 나의 만족도의 95%를 연달아서 그 방식까지만 그 수준까지만 연달아서 만족을 시키게 되면 결국 뭐가 됩니까? 1 * 1 * 1 * 점점점은 1인데 0.999
[9:30] * 0.999 이거 무한히 곱하면 얼마가 됩니까? 0이 되죠. 그래서 결과적으로는 얘의 최종 만족, 최종 산출물에 대해서 만족도가 이거일 줄 알았는데 어 또 이게 되어 버리는 결과를 맞닥뜨리게 됩니다. 그리고 여기서부터는요. 이제 슬슬 하나의 싱글 에이전트가 아니라 멀티에트에 이제 필요한 다양한 알아야 하는 개념들이 추가가 되다 보니까 어느 시점에서부턴가 이걸 만드는 얘 푸른포트한테 내가 지금 무슨 말을 하고 있는 건지 도저히 알 수가 없네라고 하는 상황에 맞닥뜨릴 수가
[10:00] 있게 되는 거죠. 여기까지가 여러분들이 무언가를 자동화를 해야지라고 하고서 에이전트의 도전장을 내밀었을 때 겪게 될 수 있는 절차들입니다. 자, 그러면 이걸 어떻게 해결할 수 있는지에 대해서 한번 말씀을 드려 보겠습니다. 지금이 시점에서는요. 하나의 좀 비유적인 이야기가 하나가 스토리텔링이 좀 필요해요. 한번 말씀드려 보겠습니다. 제가 여기서 요거 프롬트한테 나 이거 이렇게 바꿔 주라고 했었던요 프롬프트 창만 남겨 놓을게요. 이걸 어떻게 좀 기억을 하셔야 되냐면은 여러분들이 지금이 프롬프트 통해서 코덱스나
[10:30] 클로드한테 나 에이전트 계속 이렇게 바꿔 줘. 나 이게 마음에 안 들어라고 계속 얘한테 피드백을 계속 주고 계셨던 거예요. 이거 자, 예술 작품 하나를 떠올려 보겠습니다. 아, 이거는 안 보이죠? 여러분이 어제 전시에 갔어요. 그래서 거기에 사람이 이러고 있는 어떤 그림이 있었다 쳐 보겠습니다. 뒤에 막 산도 있고 막 이래요. 이거 여러분들이 되게 이쁘다고 생각을 했어요. 좋아요. 그리고 여러분들이 이제 여자친구랑 같이 갑니다. 여자친구 남자 친구랑 같이 가서이 그림을 보고 어 오빠 나는 저게 좋은
[11:00] 거 같아 이래요. 그러면 여러분들이 어 저 그림이 왜 좋아? 그러면 여자친구가 어 나는 뭐 이러고 이러고 이렇 해서 사람의 뭐 표정도 좋고 뭐 이렇게 해서 아니면 뭐 전체적인 분위기가 너무 따뜻하고 사람이 정말 이렇게도 묘사될 수 있구나 저런게 너무 어 감동적이야. 뭐 이렇게 얘기를 할 수가 있겠죠. 근데이 시점에서 내가 애초에 물어볼 때 이거 왜 좋아? 이래서 좋아라고 한이 두 대화 사이에서 우리가 하나 전제하고 있는 건 이거일 겁니다.이 이유 내가이 그림을 좋아하는 이유 여자친구가 좋다고 하는 그 이유가
[11:30] 사실은 그 아래에 기저에 깔려 있을 법한 그런 무의식의 영역까지 한번 갔다가 소화가 돼서 올라온 결과물이라는 걸. 사실 묻는 사람도 그렇고 대답하는 사람도 그렇고 굳이 우리가이 얘기를 하지 않아도 어 이건 우리가 직관적으로 알고 있는 거죠. 왜? 그럼 그 좋았다고 하는 이유 그대로 우리가 이거를 명시화해서 다른 그림 대입하면은이여이 여자친구가 이거를 좋다 싫다가 나옵니까? 절대 안 나오잖아요. 여기서 저는 지금 드리고 싶은 말씀은이 형식지와 안묵지에
[12:00] 대한 이야기입니다. 방금이 여자친구가 나이 그림 이래서 좋아라고 했던이 맥락은요. 말로 표현을 해서 그 기준을 정리를 할 수 있었죠. 이런 식의 어떤 기준들 말로 표현할 수 있고 정리, 글로서 정리해서 온전히 작동할 수 있는 판단 조건 이런 것들은 형식지라고 불러보겠습니다. 안묵지는 뭐냐면요.이 아래 있는 겁니다. 말로 표현을 할 수가 없습니다. 세상에 많은 일들이 그렇습니다. 특히 그럴까요? 우리가
[12:30] 어떤 하나의 일을 마주한다고 쳐 보겠습니다. 어, 아까 우리가 예시를 들고 있었던 제한서 작성. 이때 우리 생각에는 거기에 고객사 회사 정보랑 우리 회사 서비스 패키지랑 어 양식 템플릿이랑 나의 갖고 있는 생각이 정도의 조합이 내가이 제한서 작성을 하는데 시작하는 요소들이라고 내가 어 정의를 내릴 순 있었어요. 그런데 문제는 내가 실제로 이걸 가지고 제한서라고 하는 최종
[13:00] 산출물을 뽑을 때는 각각의 과정들 뭐 아까 제가 여기다 썼다지 리서치를 한다거나 뭐 검수를 한다거나 그런 모든 일련의 가정들이 나의 경험 그리고 여기서는 포함되지 않은 다른 추가적인 정보도 있을 수 있겠지만 어쨌든 나의 어떠한 판단에 의거해서 수만 가지의 판단이 모여서 결국에는 최종적인 제한서라고 하는 형태로 당도를 하게 되는 것이겠지요. 그때 나의 판단이라고 하는 거. 이것은 나는 이렇게 판단함이라고 백날 써
[13:30] 봤자 그것은 그림을 감상할 때 여러분들이 나이 그림 외아라고 하는 요것에 지나지 않을 수 있다. 약간의 비약을 섞은 어 스케일감이 다르긴 하지만 그런 문어 문제일 수 있다라고 하는 겁니다. 그 저는 그게 그런 문제라고 생각을 하고요. 애초이 판단이 일어나는 것에는 사실 나도 나 스스로 설명할 수 없는 나의 안목지가 딸려 있는 것입니다.이 이 안묵지를 이겨보려고 나온 것 중에 개념 중에 가장 대표적인게 저는 세컨 브레인,
[14:00] lm 위키 같은 것들이라고 생각을 말씀이 조심스러울 수 있지만 저는 어쨌든 모든 현상을 1과 0으로 이분법적으로 나눠 본다. 결국에는 방향성을 끝까지 따라보면 결국 1 아니면 0이다라고 하는 차안에서 놓고 봤을 때이 모든 것들은 기본적으로는이 안묵지 형태가 아닌 형식지 형태이기 때문에 그 것이 갖고 있는 태생적인 한계를 벗어날 수 없다라고 하는 어
[14:30] 그런 생각입니다. 그래서 다시 돌아와서요. 아까 제가 잊지 마세요라고 했던이 내가 피드백을 열심히 주면서 계속 에이전트를 잡돌이를 하고 있던이 푸룸프트이 내가 여기다가 준 피드백들은요. 결과적으로는이 에이전트들이 현재 갖고 있는 형식지를 형식지로서 업데이트 하려고 하는 뺑뺑이어 뺑뺑이에 불과했기 때문에 기본적으로는 어 나의 실제 내가 갖고 있는 내 방식의 안목지를 발현시키는 데는 태생적인
[15:00] 제약이 한계가 있었던 것이죠. 어 그럼 여기서 이러한 한계를 어떤 식으로 극복할 설계를 제가 디트이라고 하는 이름으로 해내었는지 또는 현재 시도를 하고 있는지를 설명드리기에 앞서서 이것을 어떻게 해결할 수 있는지 그 단서를 얻기 위해서 정말 많은 애를 썼습니다. 저도 말씀드렸던 여러분들이 에이전트 만들 때 이런 거 힘들죠. 이런 어려움에 봉착을 하게 되죠. 저도 똑같이 몇 번이고 반복을 했던 일이 맞고요. 단서는 되게
[15:30] 가까운 곳에 있었습니다. 바로 일단 딥러닝. 어 그중에서도 제가 원래 몸 담았었던 이미지 비전 쪽에서 제가 어떤 학습 어떤 모델을 만들기 위해서 어떤 학습 과정을 거쳤는지 요것을 한번 떠올려 보게 됐습니다. 자 일단은 AI 쪽에서 쓰는 여러 가지 용어들을 몇 가지만 좀 써서 좀 기본적인 개념을 좀 잡고 넘어가 보겠습니다. 어 학습이라고 하는
[16:00] 그 기계 학습이죠. 기계 학습이라고 하는 것은 어쨌든이 최종 산출 최종 목표인 인공지능 인공적으로 사람의 지능을 모사한 그런 어떤 기계를 만들기 위해서는 학습이라는 단계를 거친 모델이 추론을 해내는 과정을 통해서 이것을 이루게 됩니다. 그럼 그 과정에서이 학습이라고 하는 것이 어떤 식으로 이루어지는지 말씀을 드릴게요. 일단 처음에 데이터셋이라고 하는 학습할 자료가 필요하고요.이 이 데이터셋은
[16:30] 뭐는 뭐다라고 하는 이런 정답지가 쭉 답이 걸려 있는 라벨이 붙어 있는 데이터다라고 데이터 셋이라고 이렇게 표현을 할 수가 있겠습니다. 이것을 특정 알고리즘을 기반으로 해서 실험을 하도록 만듭니다. 근데이 반복적인 실험을 통해서 얻고자 하는게 뭐냐면요. 어, 최종적으로 얘가 모델이 기계가 나중에이 데이터셋과 유사한 다른 데이터를 줬을 때 그
[17:00] 정답이 무엇인지 잘 때려맞추게 하는 해 주는이 기계를 만들기 위함이거든요. 그래서 기계를 만들기 위해서 뭐를 하냐면요. 수많은 횟수를 정답질을 가져와서 오른쪽에 여기 정답이 있는 거예요. 근데 얘를 이렇게 가려요. 그리고 이거 모에 맞춰 봐라 해요. 그러면 a야 b야 이렇게 예측을 하죠. 추루는 해요. 자, 그럼 딱 가리면 어때요? 어, BA였어? 그럼 어때?
[17:30] 틀렸죠? 야, 너 틀렸어. 잘못 출론했어. 그걸 로스라고 합니다. 틀린 정도. 네. 이걸 여러 번 반복하면서이 틀린 정도를 낮춰서 학습의 과정입니다. 그럼 통상 학습 그래프가 어떻게 나오냐면요. 이걸 몇 번 계속 학습을 반복적으로 반복하고 반복하고 반복해서이 모델이 잘 학습될 수 있도록이 로스가 낮고 정확도가 높은 조건을 찾는 게임인데요. 그걸
[18:00] 가중치라고 하죠. 그 가중치를 찾는 게임인데 이것을 반복해서 보다 보면은요 한 단위를 폭크라 그래요. 그래프를 부르면이 가로축이 시간축이고 시간에 대응하는게 에포크입니다. 몇 번 반복해서 계속 이걸 학습을 반복했느냐. 그리고 위이 y축이 정확도 어큐러시라고 놓고 보면요. 이런 곡선을 그리게 돼 있습니다. 처 처음에는 정확도가 거의 빵에 가까워요. 왜겠어요? 얘는 지금이 정답이 A가 B. B가 B고 A가
[18:30] A인 거를 전혀 모르 상태에서 일단은 랜덤방 진 말 그대로 랜덤 빵으로 얘를 처음에 그냥 훅뿌리고 시작을 해요. 해요. 그다음에 학습을 할 때 그럼 여기서이 학뿌렸는데 몇 개는 맞을 수도 있고 몇 개는 근처에 갈 수도 있고 되게 다양한이 출론 5차율이 있을 거잖아요. 그중에서 배울 점만 잡고 다음 학습을 또 하는 겁니다. 전 학습에서 가졌 받았던 레슨을 교훈 삼아서 이걸 계속 반복을 하는 거서 처음에는 0에 가까운 수에서 시작을 해요. 정확도가 근데이
[19:00] 아 학습 횟수를 올리면 올릴수록 이게 점진적으로 올라가다가 이렇게 기울기가 점점 완만해집니다. 근데이 기울기가 점점 완만해지다가 어느 시점에 가면은 아무리 에포크를 늘려도이 요만큼이이 어클래시가 거의 미동도 안 하는 시점이 옵니다. 이때이 학습을 종료합니다. 종료하고이 시점에서 이것을이 추론을 해 놓은이 웨이트를 저장한 거 요게 모델이 되는 겁니다.이 모델을 배포하면 그 모델은
[19:30] 우리가 뭘 뭘 학습을 한 거예요? 정답지를 가린 상태에서 때려맞추기였죠. 그럼 이제부터는이 정답이 없는 문제들을 입력을 하면은 그게 A야, 그게 B야라고 하는 추론을 할 수 있게 되는 겁니다. 이게 딥러닝의 기본적인 학습과 출연의 그 경과예요. 여기서 저는 하나의 단서를 얻게 됩니다. 뭐냐면요. 딥러닝에서이 로스 오답률을 낮추는데
[20:00] 있어서이 에포크가 반복적으로 일어나는데 이때이 로스를 낮춰 주는 역할을 해 주는 그 알고리즘이 알고리즘은 하나의 방법론이잖아요. 걔가 실제 저 로스를 낮추기 위해서 어떻게 조정했는지 사람은 알 수가 없어요. 아 그니까까 보면은 모르겠지만 그 과정이 사람이 어떤 특정한 야 거기서 270도를 꺾어 이런 1년에 이런 식의 형식지에
[20:30] 의거한 피드백을 주지 않았다라는 거예요. 뭐만 돌았다? 알고리즘 방법로만 그냥 반복해서 돈 것뿐이다. 어 결과가 뭡니까? 이렇게 해서 나오는게이 모델 파일 이거 모델 파일 열어 보면은 아무것도 알아볼 수 없어요.이 안에 무슨 규칙이 막 자연으로 들어가 있고 이런게 아니에요. 의미를 알 수 없는 숫자이에요. 근데 얘가 신기하게 뭐는 a고 뭐는 c고 이걸 때려 맞추는 거잖아요. 어쩌면 어쩌면이 모델
[21:00] 파일은 정말 깊은 안묵지를 갖고 있는 거라고 내가 한번 상상을 해봐도 될까? 저는 이런 단서를 얻게 됩니다. 다시 우리가 원래 풀려고 했었던 어떤 특정 업무를 자동화해 주는 그러니까 안묵지를 자산화해 주는 그런 에이전트를 만드는 과정으로 돌아와 보겠습니다. 우리가이 에이전트를 고도화하고 이것을 90%짜리 정확도의 에이전트로 만들기 위해서 우리는 뭘 했냐요? 프롬프트에다가 야 이거 이거 이렇게 하면 안 되지. 어 에이전트 수정해라고 하는 피드백을 줬습니다.
[21:30] 어떻게요? 결과를 보고 리트 결과를 보고 여기다가 이게 어떤 식으로 가야 되는지 형식지화된 피드백을 줬다라고 하는 겁니다.이 생각을 제가 한번 바꿉니다. 요즘 유행하는 쇼츠에서는 발상을 지집습니다. 맞네요. 저는 어떻게 이것을 해 볼까라고 생각을 하게 됐냐면요. 결과가 나왔습니다. 그러면 마찬가지로 피드백을 주는데 얘가 어떻게 바꿔야 돼라고 하는 그런 거 없이 깔끔하게 나였다면 낼 결과의 나이 버전 얘만
[22:00] 줍니다. 그러면 어때요? 이게 아까 딥러닝으로 치면은 예측함값 실제값이라고 했을 때 그 사이의 차이가 로스라고 했죠. 어때요?이 에이전트가 답한 값, 나였으면 할 값요 사이의 차이를 우리가 로스라고 볼 수 있겠네요. 그죠? 저는이 로스를 줄이는 것은 형식지가 아닐 거야. 모르긴 몰라도 이것에 딥러닝으로 치면 알고리즘이었던 그 포지션에 무언가가 있을 거야라는
[22:30] 생각에 다르게 됩니다. 또 하나 그것은 형식지만 아니면 될 거야. 이것만 아니면이 자리에는 뭐가 들어와도 워킹할 거야. 전 이런 가설을 세우게 됐습니다. 그래서 어떻게 해봤냐면요. 아직 딥러닝과 관련된 얘기가 끝나진 않습니다. 늘 이런 식으로 한번 해 봅니다. 자, 우리가 싱글 에이전트를 멀티에트로 바꾸면은 그 과정에서 그래프가 나온다. 아까 그 한번 여기다 쓴 적이 있죠? 전 이런 이런 툴을 한번 생각을 해 봤습니다. 여기도 프롬프트가 있어요. 프롬프트가 있고
[23:00] 여기 뭐 파일 첨보도 되고 다 돼요. 얘한테 사용자는 나 어 제한서 고도화 아 제한서 자동성에 있어서 나의 안묵지를 자산화하고 싶어. 뭐 이렇게 말을 하진 않겠죠. 여러분들이 야 나 제한서 작성 이거 주제로 이거 집틴 돌릴 거니까.라고 라고 하면서 이제 마이크 켜 놓고 막 30분 정도 동안 주저리 조절히 나는 뭐 이건 이렇게 되는데 요때 이렇게 과정이 있고 이때 뭐 저기서 뭘 받아
[23:30] 가지고 뭘 하는데 주절히 주절히 주절됩니다. 도움이 될 거 같은 자료들이 있으면 역시나 추가를 합니다.이 상태에서이 툴은 지금 이제 제가 상상한 툴 상상해 본 툴 지금 상상해 본 툴 얘기하는 거예요. 주절주절 얘기합니다. 그러면은이 툴이 어 그래라고 하면서 내가 한번 너희 말을 듣고서이 그이 업무의 프로세스를
[24:00] 내가 한번 그려봤거든. 혹시 이런 거야? 아니면 이런 거야 또는 뭐 이런 거야라고 어 그래프를 그려 줍니다. 이걸 쓰고 있는 사용자는 이걸 그래프로라고 부르는지 알 필요는 없죠. 예. 그래프를 그려 줍니다. 사용자가 말합니다.어야 어떻게 알았노? 이거야. 근데 [콧방귀] 이거는 조금 이렇게 돼야 될 거 같은데 피드백을 줍니다. 그래서 이걸 통해서 확정적인
[24:30] 그래프를 만듭니다. 그래프 초환인 거죠. 그래프 0, 그래프을 확정을 합니다.이 이후자가 이제 얘를 써 Q를 날립니다. 작업 첫 번째 작업을 날려 봅니다. 그럼 결과가 나올 겁니다. 그냥 만들었을 때랑 똑같아요. 별로 안 좋아요. 왜? 뭐 이러나 저러나 아직 우리가 이걸 제대로 어 피드백을 준 상태도 아니고 하기 때문에 앞만 뭐 뭐이 피드백 뭐 있따 쳐친다 하더라도 어쨌든지간에 사실상 무작기로 시작하는 아까
[25:00] 상태라고 느껴집니다. 50%라 60%라 할지라도요. 그래서이 결과를 보고서 피드백을 줍니다. 근데 이때 피드백이 뭐다? 나였으면 R1을 리트를 요렇게 만들었을 거야라고 하는 비교체를 주는 겁니다. 그러면이 툴은 이렇게 작동합니다. 로스를 계산합니다. 뭐와 뭐의 차이예요? 이건이 결과와 나의 피드백간의 차이인이 로스를 계산합니다. 그리고 이걸 줄이기
[25:30] 위해서 어떻게이 그래프에이 그래프에는 또 이제 삼환상이 들어가 있죠. 이거 하나하나가 각각 에이전트고이 안에는 메모리도 있고 이게 엣지로 아 이게 노드가 노드 간의 어떤 전파를 하면서의 과정도 있었고 굉장히 많은 일들이 촘촘하게 있었을 겁니다. 그리고 그 과정에서 필요했던 실질적인 판단 근거에 대한 설계도 필요한 것들이 따로 있었을 거고요. 우린 지금 이거 몰라요. 모델 파일에서도
[26:00] 우리가 지금 글을 읽을 수 있는게 아니라고 했잖아요. 뭔지 모를 그게 있어요. 거기에 변화를 줍니다. 그래서 그 변화를 받은 그래프 2가 아니라 1- 1을 만듭니다. 그리고이 그래프 1- 1에다가 처음에이 현재 어 상황을 시작한이 동일한 작업을 다시 한번 먹입니다. 그러면 뭐가 나올까요? 결과가 나오죠. 근데 결과가 어떻게 나요? 1이 아니라 1- 1이 나옵니다. 왜요? 판단하는이 그래프가
[26:30] 달라졌잖아요. 달라진 상태였으니까 같은 값을 넣어도 결과는 달라져야겠죠. 그럼이 상태에서 뭐랍니까? 이때 썼던이 피드백 요거 그대로 가져와서 대조를 합니다. 대조를 하면 어떻게 되나요?이 로스 값에 대한 수치가 달라지겠죠? 로스 1- 1이 마찬가지로 나옵니다. 여기서부터 여기까지를 언제까지 반복한다?이 이 기울기가 만만해져서 더 이상 잘할 낌새가 안 느껴질 때까지 반복을 합니다. 반복한 결과
[27:00] 최종적으로 더 이상 나와지지 않는다라고 하는 그 버전에 그래프가 도출이 되고 이것이 결과적으로 현재이 툴에서 각 저장해 둔 작동하고 있는이 그래프의 형상을 버전을 과정을 돕니다. 근데이 과정을 통해서 무엇을 만드는 것이냐?이 이 가운데 우리는 딥러닝에서의 모델이었던이 딥트윈이 툴 안에서의
[27:30] 안묵지를 만들게 됩니다. 자,이 안묵지 어떻게 생긴 녀석일까요? 사실이 점에 대해서 제가 오늘 영상에서 저희 설계를 원래는 공개를 하려고 했었는데요. 아무래도 추가적인 실증요 툴을 제대로 개발하고 나서 실증을 좀 더 한 후에 어 공개를 드리는게 맞겠다는 생각이 들어서이 안묵지가 결과적으로 어떻게 생긴 것인지 어 이거는 뭐 추가적인 마크다운 파일일까요? 그럼 또 형식지 아니야? 어 그럼 뭐 벡터화되어 있는
[28:00] 어떤 인베딩된 어떤 뭐 수치일까? 뭐 아니면 또 다른 뭐 또 다른 뭐 어텐션의 개념이 또 들어갈까? [콧방귀] 어떻게 될까? 요것은 제가 어 다음 영상에서 설명드릴 겁니다. 그럼 다음 영상은 무엇일지 한번 같이 말씀드려 보겠습니다. 제가 지금 상상해 본 툴이라고 말씀을 드렸는데요. 실제 저 툴을 저는 지금 프레임워크로 만들고 있습니다. 어, 프레임워크가 뭐예요?
[28:30] 틀을 제가 만들어 놓으면 여러분들이 갔다가 마음대로 부시고 끼우고 해체하고 해도 되는 근데 다만이 >> 다만이 프레임에서 기본적으로 갖고 있는이 프로세스의 흐름은 가지고 갈 수 있도록 하는 그래서 그것만 약속을 지키면 그 위에서는 얼마든지 확장해 나갈 수 있는 그런 어 일종의 스타터 킷입니다. 저는 이것을 현재 상상해 툴을 넘어서
[29:00] 오픈소스로 실제 개발을 하고 있고요.이 오픈소스가 공개되면서 동시에 실증을 어 제가 아닌 제 3저의 실증을 함께 진행을 할 거고요. 그 과정 속에서 제가 지금 현재이 내용을 구축하고 있는 기반이 되는 써는 논문이 있습니다. 페이퍼가 하나 있어요. 얘도 공개를 드릴 것이고 그리고 당연히이 오픈소를 사용을 할 수 있는 사용하는 튜토리얼 그리고 도큐멘테이션까지 모두 준비를 할 예정입니다. 그리고 지속적으로이
[29:30] 과정에서 실증하는 그 결과물들을 여러분들께 공유를 해 드릴 거고요. 그때이 튜토리얼이 논문을 기반으로 한 튜토리얼을 여러분들에게 말씀드릴 때 그때 제가 비로소이 안에서이 과정을 통해서 사인는 만들어 주는이 안묵지의 실제 모양을 공개하도록 하겠습니다. 그때 가서 시점에서 말씀을 굉장히 저 안목지를 어떤 형태로 만들지에 대해서도 어 굉장히 좀
[30:00] 창의적인 생각이 필요했었습니다. 창의적인 생각이 얼마나 실효성이 있을지 저 스스로는 제 스스로 해 볼 수 있는 범위 내에서는 검증을 해보고 접근을 해보고는 있는데요. 그게 어 저는 실제 저뿐만이 아닌 다른 분들의 안목지 자산화에서도 작동하는 것을 증명해내는 과정을 여러분들께 나치 공개를 해 드리려고 합니다. 제가 여태까지 디트윈이라고 하는 개념을 지속적으로 설명하려고 노력을 하는데 그 과정이 어려웠던 이유는 그 핵심 설계에 해당하는 알맹이가 저 또한 부족했기
[30:30] 때문이었다라는 생각을이 과정을 통해서 할 수 있게 됐었어요. 뭐 부끄럽지만 여러분들에게 어 올렸던 그런 영상을 제가 또 지우거나 하진 않을 겁니다. 어 저도 성장을 해 나가고 있는 과정이고요. 이번 성장, 이번 저희 도전,이 오픈소스 도전을 통해서 여러분들에게 어 제가 현재 바라보고 있는이 안묵지라고 하는 것에 대한 정의가 잘 전달이 되고 또 그게 유의미하게 실제 여러분들의 삶을 바꿔 놓을 수 있게 여러분들의 업무와 어 여러분 기업의 안묵지의 자산화에 큰 공원을 할 수 있는 결과가 됐으면
[31:00] 좋겠습니다. 다음 영상 꼭 기다려 주시고요. 다음에는 오픈 소스에 대한 소식과 함께 다시 찾아뵙도록 하겠습니다. 양실장이었습니다.