좋은 아침이에요! 오늘 용어는 새 기술이 아니라 30년 가까이 된 기술이 AI 에이전트 덕분에 다시 주목받는 경우예요. “에이전트가 내 데스크톱 앱을 어떻게 클릭하지?”라는 질문의 답이 바로 여기 있어요.
이게 뭐예요?
접근성 트리(Accessibility Tree)는 운영체제가 화면 위 버튼, 입력창, 메뉴 같은 UI 요소를 “이름·역할·상태”가 붙은 나무 구조로 정리해 둔 데이터예요. 원래는 스크린 리더처럼 시각장애인을 돕는 보조 기술이 화면을 ‘읽을’ 수 있게 만든 거예요. 사람 눈엔 픽셀이지만, 이 트리로 보면 “저장 버튼, 클릭 가능, 활성 상태”처럼 글자로 보이죠.
시점 정리 (새 개념 아님!)
- 기술의 뿌리: 윈도우의 Microsoft Active Accessibility(MSAA)가 1997년에 나왔고, 그 후속인 UI Automation이 2005년 무렵 나왔어요. macOS는 Mac OS X 10.2(2002년)부터 Accessibility API를, 리눅스 GNOME은 AT-SPI를 써 왔어요.
- AI 쪽에서 먼저 쓴 곳: 브라우저 자동화예요. 2025년 3월 공개된 Playwright MCP가 스크린샷 대신 웹페이지의 접근성 스냅샷을 LLM에게 건네는 방식으로 인기를 끌었어요.
- 이번에 화제가 된 소식: Vercel Labs의 agent-desktop이 2026년 10월 27일(미국) 1.0.0으로 리눅스까지 지원하고, 10월 30일 1.0.2가 나왔어요. 10월 31일 MarkTechPost 기사에 이어 11월 1일쯤부터 X에서도 크게 퍼졌고요. 같은 방식을 이제 웹이 아니라 macOS·Windows·Linux 네이티브 앱에 쓴 거예요.
왜 지금 뜨나요?
지금까지 “컴퓨터 사용(computer use)” 에이전트는 대부분 스크린샷을 찍고 비전 모델로 “버튼이 대략 여기쯤”이라고 추측해서 클릭했어요. 느리고, 화면 해상도나 테마만 바뀌어도 잘 틀리죠. 접근성 트리를 쓰면 에이전트가 JSON으로 요소 목록을 받고, @s8f3k2p9:e8 같은 고유 ref로 정확히 클릭해요. 마우스 포인터를 뺏지도 않아서 내가 작업하는 동안 뒤에서 돌 수 있어요. agent-desktop 자체에는 모델이 없어서, Claude Code처럼 셸을 쓸 수 있는 에이전트라면 바로 붙일 수 있다는 점도 커요.
Claude만 쓰던 개발자는 어떻게 하면 될까요?
도구(접근성 트리)가 할 일
– 화면에 뭐가 있는지, 어떤 버튼이 눌리는지 같은 사실 확인이요. 이건 추측이 아니라 OS가 주는 데이터라 매번 같아요.
– 클릭·입력 같은 정해진 동작이요.
Claude에게 넘길 일
– “설정 앱에서 다크 모드 켜고, 결과 확인해 줘”처럼 어떤 순서로 무엇을 누를지 계획하기
– 스냅샷을 다시 읽고 “진짜 바뀌었는지” 검증하는 루프 돌리기. 문서도 “동작 성공 ≠ 화면 변경”이니 꼭 다시 스냅샷을 찍으라고 해요.
조심할 점
– 접근성 트리를 제대로 안 만든 앱(게임, 캔버스로 그린 UI 등)은 에이전트 눈에 안 보여요. 그럴 땐 스크린샷 방식이 대안이에요.
– 스냅샷에는 화면 속 개인정보가 그대로 담겨요. 로그나 공개 이슈에 붙여넣지 마세요.
– macOS에선 터미널에 ‘손쉬운 사용’ 권한을 줘야 해요. 권한이 크니 믿는 도구에만 주세요.
연관 용어
- 컴퓨터 사용 (Computer Use): 에이전트가 사람처럼 화면을 보고 마우스·키보드를 다루는 방식이에요. 스크린샷 기반과 접근성 트리 기반이 있어요.
- ARIA: 웹페이지가 접근성 트리에 “이건 버튼이에요”라고 알려주는 HTML 속성이에요. 접근성을 잘 챙긴 웹일수록 에이전트도 잘 다뤄요.
- Playwright MCP: 브라우저를 접근성 스냅샷으로 다루게 해주는 MCP 서버예요. agent-desktop의 웹 버전쯤으로 생각하면 쉬워요.
재밌는 건, 장애인을 위해 만든 접근성이 결국 AI에게도 가장 좋은 ‘눈’이 됐다는 점이에요. 좋은 화요일 보내세요! ☕