Codex computer use

This is the long-form blog cut of a note I originally posted on LinkedIn. The claims, numbers, and product names are the same; the formatting is for reading on the site.

Context

Original framing (translated in place for key technical posts; substance preserved):

드디어 커서 전쟁이 끝났습니다. 이틀 간 사용하면서 확신하게 되었습니다. 효능감이 미친 Computer use 가 Codex 에 등장했습니다. 혹시 Mac 사용자라면 지금 바로 Codex App 을 사용해보시는 것을 강력히 추천합니다.

사실 Anthropic 이 2024년 10월 computer use 를 처음 냈습니다. 그리고 Google Mariner 와 OpenAI Operator 가 뒤따랐지만 셋 다 같은 벽에 부딪혔어요.

바로 AI 가 커서를 잡으면 사람은 화면을 못 사용하는 치명적인 문제가 존재했던 것입니다. 에이전트를 돌리려면 내 작업을 멈춰야 했고 그건 도구가 아니라 교대 근무였습니다.

그런데 이번 Codex 의 Computer use 는 완전히 다릅니다.

1️⃣ 커서 분리. AI 성능이 아니라 OS 가 병목이었습니다

통념은 “AI 가 더 똑똑해지면 computer use 가 보급된다”였습니다.

하지만 틀렸어요. 문제는 지능이 아니라 커서였습니다. 화

드디어 커서 전쟁이 끝났습니다. 이틀 간 사용하면서 확신하게 되었습니다. 효능감이 미친 Computer use 가 Codex 에 등장했습니다. 혹시 Mac 사용자라면 지금 바로 Codex App 을 사용해보시는 것을 강력히 추천합니다.

사실 Anthropic 이 2024년 10월 computer use 를 처음 냈습니다. 그리고 Google Mariner 와 OpenAI Operator 가 뒤따랐지만 셋 다 같은 벽에 부딪혔어요.

바로 AI 가 커서를 잡으면 사람은 화면을 못 사용하는 치명적인 문제가 존재했던 것입니다. 에이전트를 돌리려면 내 작업을 멈춰야 했고 그건 도구가 아니라 교대 근무였습니다.

그런데 이번 Codex 의 Computer use 는 완전히 다릅니다.

1️⃣ 커서 분리. AI 성능이 아니라 OS 가 병목이었습니다

통념은 “AI 가 더 똑똑해지면 computer use 가 보급된다”였습니다.

하지만 틀렸어요. 문제는 지능이 아니라 커서였습니다. 화면 하나에 드라이버 두 명이 공존할 수 없다는 OS 수준의 제약이 진짜 벽이었습니다. 기존 computer use 를 돌릴 때마다 느꼈던 불편함의 정체가 이거였어요.

OpenAI 는 작년 가을 Sky Applications 을 인수했습니다. Apple Shortcuts 의 전신인 Workflow 를 만든 팀이에요. 서드파티 코드가 Mac 앱을 안전하게 제어하면서 포그라운드를 깨지 않는 기술을 10년간 다듬어온 사람들입니다. 결국 이 사람들이 해냈습니다.

• Anthropic, Google, OpenAI 세 회사 모두 “커서 공유” 문제에서 정체 • Codex 는 OS 레벨 샌드박싱으로 에이전트마다 독립 커서 부여 • 에이전트가 Slack 에서 메시지를 보내는 동안 내 커서는 VS Code 에 그대로

2️⃣ 카카오톡 자동화. API 없던 앱이 전부 도구가 됩니다

체감이 가장 큰 부분입니다. 카카오톡 데스크톱을 Codex 가 직접 봅니다. 화면을 인식하고 클릭하고 타이핑해요.

즉, API 가 없어서 자동화가 불가능했던 앱이 전부 열린 겁니다. 그리고 사실 API 가 있어도 스스로 자동화 시스템을 구축하기 어려운 사람들에게는 완전히 신세계가 열렸습니다.

직접 써보니 지시를 구체적으로 줄수록 정확도가 확 올라갑니다. 그래서 업무를 대신하는 정도가 크게 올라왔습니다.

• 카카오톡 단체방에 매일 아침 정해진 공지를 자동 전송 • Google Sheets 데이터를 카카오톡 메시지로 변환해서 특정 채팅방에 발송 • 인베스팅닷컴 등 특정 주제의 기사를 크롬으로 검색한 후 요약본을 작성하여 카카오톡으로 전달 • 로그인 문제도 해결. 이미 로그인 한 브라우저를 그대로 사용하기 때문

3️⃣ Skill 생성. 한 번 하면 다음부터는 자동입니다

이 부분이 가장 놀라웠어요. 작업을 한 번 끝내고 “방금 한 걸 돌아보고 다음에 어떻게 하면 되는지 정리해”라고 시키면 Codex 가 Skill 문서를 자동 생성합니다. 거기에 스케줄 등록까지 하면 반복 실행이 됩니다.

Computer use 와 합쳐지면 API 없는 앱도 정기 자동화 대상이 돼요. 한 번 해본 작업의 설정 비용이 사실상 0이 되는 구조입니다.

• 작업 완료 후 Codex 가 자체 회고하고 재현 가능한 Skill 생성 • 스케줄 등록으로 매일/매주 정기 실행 가능 • 수동 작업에서 Skill 전환까지 앱 하나에서 완결

4️⃣ 에이전트 5개가 백그라운드에서 돌 때 병목은 당신의 리뷰 속도입니다

어제까지 업무 단위는 “사람 1명 + 에이전트 여러 개, 하지만 별도의 서버 사용 없이는 같은 화면에서 작업 1개” 였습니다.

하지만 Codex 가 커서 사용 방식을 완전히 혁신하면서 이 공식이 바뀌었어요.

커서 분리가 동시 사용의 물리적 제약을 제거했고 API 없는 앱까지 자동화 범위에 들어왔고 Skill 생성이 반복 작업의 진입 비용을 없앴습니다

남은 건 하나입니다. 에이전트가 만든 결과물을 사람이 얼마나 빨리 검토하느냐. 계속해서 나오는 이야기지만 병목이 도구에서 사람으로 넘어왔습니다.

그 동안 “에이전트 돌리는 동안 커피 마시고 오세요”가 computer use 의 현실이었습니다. 이제 에이전트 5개가 5개 앱에서 일하는 동안 우리 스스로도 우리의 커서로 계속 일할 수 있습니다. 슈퍼 휴먼이 탄생하기 직전입니다.