좋은 아침이에요! 오늘은 GEPA(Genetic-Pareto, 반성적 프롬프트 진화)예요. 뭔가요? 프롬프트를 사람이 고치는 대신, AI가 실행 기록(추론 과정, 툴 호출, 에러 메시지)을 직접 읽고 “왜 틀렸는지”를 글로 반성한 뒤 프롬프트를 고쳐 나가는 자동 최적화 기법이에요. 점수 하나만 보고 학습하는 강화학습(RL)과 달리 실패 이유를 문장으로 이해하니까, 몇십 번만 돌려도 꽤 좋아진다는 게 핵심이에요. 이름의 Pareto는 “전체 1등 프롬프트 … 더 읽기
좋은 아침이에요 ☀️ 오늘은 에이전틱 워크플로(Agentic Workflows)예요. 한 줄로 말하면, GitHub Actions 안에서 코딩 에이전트가 정해진 일을 자동으로, 주기적으로 해 주게 하는 방식이에요. YAML 대신 “이슈 오면 분류하고 라벨 붙여 줘” 같은 걸 마크다운 문장으로 쓰면, gh aw라는 CLI가 그걸 일반 Actions YAML로 컴파일해 줘요. 시점부터 정리하면 바탕 개념은 오래됐어요. 지속적 통합(CI)은 1990년대부터 쓰인 말이고, … 더 읽기
좋은 아침이에요! 오늘은 AI 에이전트 여러 개를 동시에 돌릴 때 기본기로 자리 잡고 있는 깃 워크트리(git worktree)예요. 이게 뭔가요? 저장소 하나에서 작업 폴더를 여러 개 꺼내 쓰는 Git 기능이에요. 폴더마다 자기 브랜치와 파일을 따로 갖지만, 커밋 기록과 원격 저장소는 하나를 같이 써요. 그래서 폴더 A에서는 에이전트가 새 기능을 만들고, 폴더 B에서는 다른 에이전트가 버그를 고쳐도 … 더 읽기
좋은 아침이에요! 오늘은 구글이 사내에서 쓰던 AI 코딩 방법론을 공개해서 화제가 된 코끼리-금붕어 모델(EGM)이에요. 이게 뭔가요? AI 세션을 두 종류로 나눠 쓰는 작업 방식이에요. “코끼리”는 맥락을 잔뜩 쌓은 긴 세션으로, 코드는 한 줄도 안 쓰고 AI와 토론하면서 설계 문서(스펙)만 만들어요. “금붕어”는 기억이 하나도 없는 새 세션이에요. 이 세션은 설계 문서만 읽고 빈틈이나 모호한 부분, 엣지 … 더 읽기
좋은 아침이에요. 오늘은 “에이전트를 코루틴처럼 재웠다가 깨우는” 실행 방식이에요. 뭔가요? 보통 에이전트 루프는 모델 호출, 도구 실행, 결과 기다리기를 차례로 반복해요. 빌드가 20분 걸리면 그동안 프로세스와 메모리를 붙잡고 멍하니 기다리죠. 재개 가능한 런타임은 도구를 호출하는 순간을 await 지점으로 보고, 대화 기록을 저장한 뒤 에이전트를 아예 내려버려요. 결과가 큐로 도착하면 그 기록을 불러와 이어서 실행해요. 대화 … 더 읽기
좋은 아침이에요! 오늘은 형식 검증이에요. 새 기술이 아니라 50년 넘은 기술인데, LLM 덕분에 다시 무대 위로 올라왔어요. 뭔가요? 테스트처럼 “몇 가지 입력을 넣어 보니 괜찮더라”가 아니라, 코드가 어떤 성질(예: 절대 크래시하지 않는다)을 모든 입력에 대해 만족한다는 걸 수학적으로 증명하고, 그 증명을 기계(증명 검사기)가 확인하는 방법이에요. 핵심은 증명을 누가 썼든 검사기가 통과시켜야만 인정된다는 점이에요. 시점 정리 … 더 읽기
한 줄 정의: 수십억 파라미터 이하의 작은 모델(SLM, Small Language Model)을 노트북·GPU·로봇 같은 기기 안에서 직접 돌려서, 대화하고 도구까지 호출하게 만드는 방식이에요. 큰 클라우드 모델에 매번 묻지 않고 “가까운 곳에서 빠르게” 처리하는 게 핵심이에요. 시점부터 정리할게요. 이건 새 개념은 아니에요. “작아도 쓸 만한 모델”이 본격적으로 주목받은 건 Microsoft의 Phi-1(2023년 6월)부터고, Microsoft가 Phi-3(2024년 4월)를 내면서 “SLM”이라는 … 더 읽기
한 줄로: AI 에이전트가 코드를 돌리고 파일·네트워크를 만지는 공간을 커널이나 하드웨어 수준에서 격리하고, “무엇에 접근해도 되는지”를 에이전트 바깥의 정책이 정하게 하는 실행 환경이에요. 핵심은 “에이전트는 스스로를 통제할 수 없다, 통제는 인프라가 한다”는 생각이에요. 시점부터 분명히 할게요. 샌드박스 자체는 오래된 기술이에요. 유닉스 chroot(1979), 리눅스 seccomp(2005), gVisor와 Firecracker(2018), 리눅스 Landlock(2021)이 다 지금 쓰이는 재료예요. NVIDIA OpenShell도 새 … 더 읽기
좋은 점심이에요! 오늘은 브리핑이 조금 늦었어요 🙏 점심 드시면서 가볍게 읽어 주세요. 한 줄 정의 확산 언어 모델(dLLM)은 글을 왼쪽에서 오른쪽으로 한 토큰씩 쓰지 않아요. 대신 답 전체의 초안을 한꺼번에 잡고, 여러 위치를 병렬로 여러 번 다듬어서 완성하는 LLM이에요. 이미지 생성 모델이 노이즈에서 그림을 점점 선명하게 만드는 방식을 텍스트에 가져온 거예요. Claude나 GPT 같은 기존 … 더 읽기
좋은 아침이에요! 오늘은 캐시 인지 라우팅이에요. LLM 서버가 여러 대 있을 때, 요청을 아무 서버에나 돌려 보내지 않고 “이 대화의 앞부분(프리픽스)을 이미 계산해 KV 캐시로 들고 있는 서버”로 골라 보내는 방식이에요. 같은 프롬프트를 처음부터 다시 계산하지 않으니 첫 토큰이 나오는 시간(TTFT)과 비용이 확 줄어요. 시점부터 정리할게요. 새 기술은 아니에요. 프리픽스를 재사용하는 아이디어는 SGLang의 RadixAttention 논문(2023-12)과 … 더 읽기