GitHub Copilotが、パソコンのアプリを代わりに操作する「コンピューター操作」を公開。APIのない古いソフトの作業も任せられる

・GitHubが2026年10月1日、AIの「GitHub Copilot」がパソコンのアプリを人の代わりに操作できる「コンピューター操作」を、試験提供（パブリックプレビュー）として公開した

・画面を読み取り、クリック・文字の入力・スクロール・ドラッグなどをして、複数のアプリをまたぐ作業を進める。外部から操作する仕組み（API）のない古いソフトにも使える

・アプリを操作する前に必ず許可を求める。MacとWindowsのCopilotアプリと、コマンドで使う「Copilot CLI」で使える

GitHubは2026年10月1日、AIアシスタント「GitHub Copilot」に、パソコンのアプリを操作する「コンピューター操作」の機能を加えました。

GitHub Copilotは、もともとプログラムを書くのを手伝うAIです。ただ、仕事の中には、プログラムからは動かせず、人が画面を見てクリックするしかないソフトも多く残っています。今回の機能は、そうした「画面でしか操作できない作業」も、AIに任せられるようにするものです。

この記事では、GitHubの発表で分かったことを整理したうえで、ふだんの仕事がどう変わるのかを考えます。

Copilotが画面を読み取り、クリックや入力をして作業を進める

まずは、何ができるのかを見ていきます。

GitHubの発表によると、コンピューター操作では、Copilotが次のような操作を人の代わりに行います。

・アプリの画面の内容を読み取る

・ボタンなどをクリックする

・文字を入力したり、直したりする

・キーを押す、スクロールする、ドラッグする

・複数のアプリをまたいで作業を進める

発表では、使い道の例として、ブラウザーの通知をまとめる、プレゼン資料の中身を更新する、パソコンのアプリどうしで情報を移す、といった作業が挙げられています。

特に、API（外部のプログラムから操作するための窓口）やコマンドで動かす仕組みがない、古いソフトや画面操作しかできないソフトの作業を自動化できる点が強調されています。

アプリを操作する前に許可を求める。会社の設定で止めることもできる

次に、安全の仕組みと使い方です。

発表によると、次のように使います。

・Copilotは、アプリを操作する前に、利用者に許可を求める

・「いつも許可する」にしたアプリは、あとから見直したり、元に戻したりできる

・Macでは、「アクセシビリティ」と「画面収録」の許可が必要で、Copilotが設定の手順を案内する

・会社が管理する設定で、この機能を使えないようにすることもできる

使えるのは、MacとWindows向けのGitHub Copilotアプリと、コマンドで使うCopilot CLIです。アプリでは設定の「Computer Use」から、CLIでは「/computer on」で有効にします。

どの料金プランで使えるかは、GitHubの発表と料金のページでは確認できませんでした。

仕事はどう変わるか：「画面でしか触れないソフト」の転記作業がAIに渡る

ここからは、公式の情報をもとにした僕の見方です。

コンピューター操作で変わるのは、ソフトどうしの「転記」の仕事だと考えています。

会計ソフトから表計算へ、古い管理画面から新しい仕組みへ。会社には、画面を見ながら数字や文字を写す作業がまだ多く残っています。プログラムでつなげないソフトどうしの間を、人が手で埋めてきたからです。

画面を読み取って操作できるAIなら、そうした作業を、ソフトを作り替えずに任せられる可能性があります。

経費の入力や予約の手続きなど、毎月同じ画面で同じ操作をくり返している個人事業主にとっても、手作業の時間を減らすきっかけになりそうです。

使う前に、確かめておきたいこともあります。

・試験提供の段階なので、動きが安定しない場合がある。大事なデータの入力は、仕上がりを必ず自分で見直す

・画面を読み取る仕組みなので、操作させるアプリに、見せたくない情報が表示されていないかを確かめる

・「いつも許可する」にしたアプリを、ときどき見直す

・会社のパソコンで使うなら、会社の設定でこの機能が許可されているかを確かめる

まとめ：GitHub Copilotがパソコンのアプリを操作できるように。画面でしか触れない作業から任せてみる

GitHub Copilotに、画面を読み取ってアプリを操作する「コンピューター操作」が、試験提供として加わりました。操作の前に許可を求め、MacとWindowsで使えます。

プログラムでつなげないソフトどうしの転記の仕事を、AIに任せられるようになるのが、いちばん大きな変化です。

まずは間違えても困らない、くり返しの多い作業から試してみるのがよさそうです。

出典

・GitHub Changelog「GitHub Copilot can now interact with desktop apps with computer use」（2026年10月1日） https://github.blog/changelog/2026-10-01-github-copilot-can-now-interact-with-desktop-apps/

・GitHub「GitHub Copilot · Plans & pricing」（2026年10月5日確認） https://github.com/features/copilot/plans

キラ

X

ブログ「Spesial Life」を運営しているキラと申します。 当ブログでは、たった一度の人生を豊かに彩るための情報を発信しています。 目まぐるしく変化する現代社会の中で、思うような人生を送ることができずに困っていることはありませんか？ 僕自身、大学卒業後、サラリーマンとして生きていくなかで、想像していた人生とはかけ離れた不満だらけの日々を送っていました。 それがある本と出会い、考え方と行動を変えることで、自分が望むような人生が手に入ることを知ったんです。 それ以来、自分自身の考え方と行動を変えることを実践して、人生を素晴らしいものへと変えている真っ最中です。 このブログでは僕自身の実体験を踏まえた人生を変える情報や考え方を発信しています。 あなたにとって素晴らしい人生が手に入るよう、一緒に行動していきましょう！