제미나이 API '컴퓨터 사용' 정식 출시 — 화면 보고 클릭하는 AI, 반복 업무를 어디까지 맡길 수 있나?
스크린샷을 보고 마우스·키보드를 움직이는 기능이 실험 단계를 벗어나 정식 기능이 됐습니다.
한 줄 답: 네, 10월 30일부터 Gemini API의 컴퓨터 사용(Computer Use) 도구가 정식(GA)이 돼 Interactions API와 GenerateContent API 양쪽에서 쓸 수 있습니다. 다만 결제·계정 생성 같은 동작은 사람 확인을 받도록 설계돼 있어, '전부 맡기기'보다 '반복 클릭은 AI, 중요한 버튼은 사람' 구조가 맞습니다.
무슨 일인가
컴퓨터 사용이란 AI가 화면 스크린샷을 보고 클릭·입력·스크롤 같은 동작을 함수 호출로 돌려주면, 내 프로그램(예: Playwright로 띄운 브라우저)이 그 동작을 실제로 실행하는 방식입니다. 구글 문서 기준 환경은 브라우저·모바일·데스크톱 3가지이고, 모바일은 앱 열기·길게 누르기, 브라우저는 주소 이동·뒤로 가기까지 지원합니다. 좌표는 0~999로 정규화돼 오고 내 화면 크기에 맞춰 변환합니다.
지원 모델은 gemini-4-argon, 컴퓨터 사용 권장 모델 gemini-3.8-flash, 저지연·저비용 gemini-3.5-flash-lite, gemini-3-flash-preview 네 가지입니다. 동작마다 safety_decision이 붙고, 금융 거래·민감 데이터 수정·메신저 도구·계정 생성·데이터 수정·동의 관리·법적 약관 7개 정책에 걸리면 사용자 확인을 요구합니다. 스크린샷 속 숨은 지시를 잡는 프롬프트 인젝션 감지는 기본 꺼짐이라 직접 켜야 합니다.
(click·type…)
사람 승인
왜 중요한가
API가 없는 관리자 페이지·도매 사이트·공공 포털의 반복 작업을 자동화할 공식 경로가 하나 더 생겼습니다. 10월 26일 오픈AI GPT-6.1 Terra의 컴퓨터 사용에 이어 구글도 정식 기능으로 내놓으면서, 같은 작업을 두 회사 모델로 비교해 볼 수 있게 됐습니다.
enable_prompt_injection_detection)는 기본값이 false입니다. 외부 웹페이지를 보게 할 땐 반드시 켜세요.내 사업·앱에 무슨 의미
- 스마트스토어·쇼핑몰 — API 없는 도매몰에서 상품 정보 옮기기 같은 반복 클릭이 대상입니다. 단 해당 사이트 약관이 자동화를 금지하는지 먼저 확인하세요.
- 앱 운영자 — 모바일 환경으로 '가입→첫 화면' 같은 테스트 시나리오를 돌려 볼 수 있습니다.
- 개발자 — 전용 컨테이너나 브라우저 프로필에서만 실행하고, 결제 단계의 확인 요청은 끄지 마세요.
지금 해볼 것
Q&A — 자주 묻는 질문
Q. 제미나이 컴퓨터 사용 기능은 따로 요금이 있나요?
A. 변경 로그와 문서에는 컴퓨터 사용 전용 요금 표기가 없습니다. 쓰는 모델(gemini-3.8-flash 등)의 요금표를 기준으로 봐야 하고, 매 턴 스크린샷이 입력으로 들어가므로 턴 수를 줄이는 게 비용 관리의 핵심입니다.
Q. 결제나 회원가입도 AI가 대신 눌러주나요?
A. 기본적으로는 사람 확인을 거칩니다. 금융 거래·계정 생성·약관 동의 등 7개 안전 정책에 걸리면 모델이 require_confirmation을 돌려주고, 사용자가 승인해야 그 동작이 진행됩니다.
Q. 내 업무용 PC에서 바로 돌려도 되나요?
A. 권장하지 않습니다. 구글 문서는 가상 머신·컨테이너·제한된 브라우저 프로필 같은 격리 환경에서 실행하라고 하고, 오류와 보안 취약점이 있을 수 있으니 중요한 작업은 사람이 지켜보라고 안내합니다.