AI 커서 여러 개로 컴퓨터 일 맡기기

macOS 13 이상, Node.js 18 이상이 필요합니다. 일을 시킬 AI 에이전트도 하나 있어야 합니다. Codex, Claude Code처럼 MCP 도구를 붙일 수 있는 에이전트면 됩니다.

agent-desktop은 Vercel Labs가 공개한 오픈소스입니다. 화면 사진을 보고 짐작해서 누르는 방식과 달리, 앱이 운영체제에 알려 주는 버튼 목록을 읽고 그 버튼을 직접 누릅니다.

터미널에서 한 줄이면 됩니다. 버전이 나오면 설치된 겁니다.

npm install -g agent-desktop
agent-desktop --version

다른 앱을 조작하려면 맥의 손쉬운 사용 권한이 필요합니다. 아래 명령을 실행하면 시스템 설정의 해당 화면이 열리고, 어떤 앱을 목록에 넣어야 하는지 안내가 뜹니다.

agent-desktop permissions --guide
agent-desktop permissions

권한은 agent-desktop을 실행하는 앱에 줍니다. 터미널에서 쓰면 터미널, Codex 앱에서 쓰면 Codex입니다. 화면 녹화 권한은 스크린샷 기능을 쓸 때만 필요합니다.

두 번째 명령에서 granted가 나오면 끝입니다.

agent-desktop은 MCP 서버로 동작합니다. Codex는 ~/.codex/config.toml에 아래 세 줄을 넣고 다시 열면 됩니다.

[mcp_servers.agent-desktop]
command = "agent-desktop"
args = ["mcp"]

Claude Code는 터미널에서 claude mcp add agent-desktop -- agent-desktop mcp 한 줄로 붙습니다.

기본은 커서 없이 조용히 누릅니다. 눈으로 보고 싶으면 세션을 열 때 커서를 켭니다. --multi-agent를 같이 주면 작업자마다 자기 커서가 따로 생깁니다.

agent-desktop session start --cursor --multi-agent

# 작업자마다 같은 세션에 다른 이름을 붙여서 실행
agent-desktop snapshot --app Safari -i --session <세션ID> --agent-id flight
agent-desktop click <ref> --session <세션ID> --agent-id flight

이 커서는 화면에 그려지는 표시일 뿐이라 내 마우스는 움직이지 않습니다. 에이전트가 일하는 동안 마우스로 다른 일을 해도 됩니다.

명령어를 직접 칠 필요는 없습니다. 창을 화면 4칸에 하나씩 띄워 두고 에이전트에게 이렇게 맡기면 됩니다.

agent-desktop 세션을 --cursor --multi-agent로 열어 줘.
작업자 4개를 만들어서 agent-id를 flight, hotel, car, map으로 주고
각자 자기 창만 맡아서 동시에 진행해 줘.
- flight: 네이버 항공권에서 인천-호놀룰루 12월 최저가 일정 찾기
- hotel: 호텔스닷컴 와이키키 호텔 상세 페이지 3곳 열어 보기
- car: 렌터카 상세 페이지 열어서 요금 조건 보기
- map: 지도에서 와이키키 해변 찾아서 확대
결제나 예약 확정 버튼은 누르지 말고 멈춰.

영상 속 커서 4개도 이 방식으로 Codex가 작업자 4개를 띄워 동시에 돌린 화면입니다. 영상은 4.6배속입니다.

작업자 하나가 창 하나만 맡게 나누는 게 가장 덜 꼬입니다. 두 작업자가 같은 창을 건드리면 서로 누른 걸 덮어씁니다.

화면이 바뀌면 이전에 읽은 버튼 목록은 무효가 됩니다. 누를 때마다 다시 읽고 확인하게 시키는 게 안전합니다.

결제, 예약 확정, 로그인, 인증번호는 사람이 직접 하는 게 맞습니다. 에이전트에게는 그 직전까지만 맡기세요.