這款開源免費(fèi)AI工具，自然語言指令控制 Android 和 iOS 設(shè)備

這款開源免費(fèi)AI工具，自然語言指令控制 Android 和 iOS 設(shè)備 引言

打開App、切回微信、找設(shè)置、關(guān)彈窗、設(shè)鬧鐘……現(xiàn)代人每天在手機(jī)上重復(fù)的機(jī)械操作，加起來可能比實際工作還多。尤其是遇到需要跨應(yīng)用多步聯(lián)動的場景，手指點(diǎn)得發(fā)麻，效率卻低得可憐。

有沒有一種可能，讓手機(jī)自己“聽懂”你的需求，自動把活干完？

最近，GitHub 上悄然跑火了一個名為 mobilerun 的開源項目。它直接把大語言模型（LLM）接入安卓交互層，實現(xiàn)了真正的“自然語言控機(jī)”。今天星哥就帶大家拆解這個項目，看看它能不能成為你口袋里的“AI代操作助手”。

核心亮點(diǎn)

星哥任務(wù)這個開源工具最大的兩點(diǎn)：使用自然語言指令控制 Android 和 iOS 設(shè)備。

傳統(tǒng)手機(jī)自動化要么靠錄制固定路徑（換個UI就失效），要么需要寫腳本（門檻太高）。mobilerun 的底層邏輯完全不同：讓AI當(dāng)大腦、截圖當(dāng)眼睛、ADB當(dāng)手腳。

• ? 說人話就能控機(jī) ：無需記憶控件ID或坐標(biāo)，直接輸入日常指令，如 “打開設(shè)置，查看Android版本” ，AI會自動拆解步驟并執(zhí)行。

• ? 不綁定單一模型 ：兼容 OpenAI、Anthropic Claude、Google Gemini 等主流服務(wù)商，你手頭有哪個 Key 就能用哪個，靈活切換。

• ? 雙端調(diào)用友好 ：提供極簡命令行（CLI），零基礎(chǔ)也能跑通；同時開放 Python API，開發(fā)者可輕松將其嵌入自動化流水線或定制 Agent。

• ? 動態(tài)視覺解析 ：通過實時截圖分析當(dāng)前界面狀態(tài)，遇到彈窗、權(quán)限請求或頁面跳轉(zhuǎn)時，能自適應(yīng)調(diào)整操作策略，告別“死坐標(biāo)”。

Python 3.14 目前不受支持。請使用 Python 3.11 – 3.13

下載地址（官方穩(wěn)定版）：

                                                           https://www.python.org/ftp/python/3.11.9/python-3.11.9-amd64.exe

? 安裝時一定要勾選：Add Python to PATH

? 安裝后打開 CMD 輸入：

                                                           PS C:\Windows\system32> python --version
Python 3.11.9

顯示 Python 3.11.x 就對了。

二、Windows 11 必看額外配置（連接手機(jī)） 1. 安裝 ADB（安卓調(diào)試工具）

mobilerun 必須依賴 ADB

下載：https://dl.google.com/android/repository/platform-tools-latest-windows.zip

解壓后，把路徑添加到系統(tǒng) PATH，然后在 CMD 測試：

                                                           adb --version

實際

                                                           PS C:\Windows\system32> adb --version
Android Debug Bridge version 1.0.41
Version 37.0.0-14910828
Installed as D:\mysoft\adb\adb.exe
Running on Windows 10.0.28000

連接電腦后運(yùn)行：

                                                           adb devices

能看到設(shè)備即可。

三、部署指南

星哥把安裝流程梳理這幾步，照著操作基本不會踩坑：

底層通道打通：電腦需安裝并配置好 ADB（Android Debug Bridge）。

手機(jī)開啟“開發(fā)者選項”，允許 USB 調(diào)試（或配置無線 ADB 連接）。

1.安裝uv

                                                           # macOS/Linux
curl -LsSf https://astral.sh/uv/install.sh | sh


 # Windows (PowerShell)
powershell -c "irm https://astral.sh/uv/install.ps1 | iex"

執(zhí)行結(jié)果

                                                           PS C:\Windows\system32> powershell -c "irm https://astral.sh/uv/install.ps1 | iex"
downloading uv 0.11.9 (x86_64-pc-windows-msvc)
installing to C:\Users\Admin\.local\bin
  uv.exe
  uvx.exe
  uvw.exe
everything's installed!

 To add C:\Users\Admin\.local\bin to your PATH, either restart your shell or run:

     set Path=C:\Users\Admin\.local\bin;%Path%   (cmd)
    $env:Path = "C:\Users\Admin\.local\bin;$env:Path"   (powershell)

                                                           uv tool install mobilerun

設(shè)置 Portal APK Mobilerun 要求在 Android 設(shè)備上安裝 Portal 應(yīng)用程序以進(jìn)行設(shè)備控制。

Portal 應(yīng)用程序提供可公開 UI 可訪問性樹的可訪問性服務(wù)，使代理能夠查看 UI 元素并與之交互。

mobilerun setup 此命令會自動： 下載最新的 Portal APK，將其安裝在連接的設(shè)備上，啟用輔助功能服務(wù)

                                                           PS C:\Windows\system32> mobilerun setup
Using device: 8UJDU19B26009606
Downloading Portal APK 0.7.1

回到手機(jī)中安裝mobilerun Portal

4.測試連接

驗證 Mobilerun 是否可以與您的設(shè)備通信：

                                                           mobilerun ping


 實際顯示：
PS C:\Windows\system32> mobilerun ping
Portal is installed and accessible. You're good to go!

運(yùn)行配置向?qū)б赃x擇您的提供商、身份驗證方法（API 密鑰或 OAuth）和模型：

                                                           mobilerun configure

這里可以選擇openai、gemini、minimax等等大模型，星哥選擇ollama

                                                           curl http://192.168.1.18:11434
Ollama is running
我使用的qwen3.5:9b

或者，可以將 API 密鑰設(shè)置為環(huán)境變量：

                                                           # For Google Gemini (default)
export GOOGLE_API_KEY=your-api-key-here

 # For OpenAI
export OPENAI_API_KEY=your-api-key-here

 # For Anthropic Claude
export ANTHROPIC_API_KEY=your-api-key-here

現(xiàn)在您已準(zhǔn)備好使用自然語言控制您的設(shè)備：

                                                           # 使用默認(rèn)大模型 (Google Gemini)
mobilerun run "Open the settings app and tell me the Android version"

 mobilerun run "打開設(shè)置應(yīng)用程序并告訴我 Android 版本"

 # 選擇大模型
mobilerun run "Check the battery level" --provider OpenAI --model gpt-4o
mobilerun run "檢查電池電量" --provider OpenAI --model gpt-4o

 # 啟用視覺模式（將屏幕截圖發(fā)送給LLM）
mobilerun run "What app is currently open?" --vision
mobilerun run "目前打開什么應(yīng)用程序？" --vision

 # 啟用推理模式（使用管理器-執(zhí)行器工作流程來執(zhí)行復(fù)雜任務(wù)）
mobilerun run "Find a contact named John and send him an email" --reasoning

 mobilerun run "查找名為 John 的聯(lián)系人并向他發(fā)送電子郵件" --reasoning

通過腳本創(chuàng)建簡單代理

                                                           import asyncio
from mobilerun import MobileAgent, MobileConfig

 async def main():
    # Use default configuration with built-in LLM profiles
    config = MobileConfig()

     # Create agent
    # LLMs are automatically loaded from config.llm_profiles
    agent = MobileAgent(
        goal="Open Settings and check battery level",
        config=config,
    )

     # Run agent
    result = await agent.run()

     # Check results (result is a ResultEvent object)
    print(f"Success: {result.success}")
    print(f"Reason: {result.reason}")
    print(f"Steps: {result.steps}")

 if __name__ == "__main__":
    asyncio.run(main())

mobilerun安裝好了，就來看看如何使用。

1.查看手機(jī)版本

                                                           mobilerun run "Open the settings app and tell me the Android version"


 mobilerun run "打開設(shè)置應(yīng)用程序并告訴我 Android 版本"

cli顯示：

手機(jī)顯示：

顯示結(jié)果

                                                            Goal achieved: 這是 HarmonyOS 設(shè)備（榮耀 V30）。屏幕上顯示 HarmonyOS 版本為 4.2.0，但沒有直接顯示 Android 版本。HarmonyOS 是華為的專有操作系統(tǒng)，基于 AOSP，因此通常在關(guān)于手機(jī)屏幕上不直接顯示底層 Android 版本。
error uploading: HTTPSConnectionPool(host='eu.i.posthog.com', port=443): Max retries exceeded with url: /batch/ (Caused by SSLError(SSLError(1, '[SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1006)')))

我手機(jī)有兩個微信，它并不能識別，只能打開默認(rèn)的主微信。

                                                           mobilerun run "打開微信給星星發(fā)一句你好！"

由于淘寶閃購的今天簽到已經(jīng)簽了，試試別的APP

                                                           mobilerun run "打開淘寶閃購，點(diǎn)擊'我的'，再點(diǎn)擊'吃貨豆'，再點(diǎn)擊'簽到'"


 mobilerun run "打開阿里云盤，簽到"

mobilerun 的默認(rèn)交互是命令行，但可玩性遠(yuǎn)超預(yù)期：

• ? 基礎(chǔ)直控 ： mobilerun "打開日歷，添加明天下午3點(diǎn)的會議" —— 適合一次性指令。

• ? 參數(shù)微調(diào) ：支持指定模型提供商（如 --provider openai ）、鎖定目標(biāo)設(shè)備序列號、設(shè)置最大執(zhí)行步數(shù)（ --max-steps ），有效防止 AI 陷入循環(huán)。

• ? 代碼級集成 ：通過 Python API，你可以把它寫進(jìn)定時腳本。例如每天早8點(diǎn)自動拉取天氣、打開通勤導(dǎo)航、播放播客，打造專屬的“晨間自動化鏈路”。

工具雖強(qiáng)，但用對地方才能事半功倍。星哥總結(jié)了幾個高頻落地場景，并附上實操建議：

? QA自動化測試：測試同學(xué)無需手寫繁瑣的 UI 腳本，用自然語言生成用例，跨機(jī)型適配效率大幅提升。
? 遠(yuǎn)程協(xié)助長輩：父母不會調(diào)字體、清緩存、連 Wi-Fi？你遠(yuǎn)程發(fā)條指令，AI 替他們一步步完成，省心又安全。
? 重復(fù)性數(shù)據(jù)搬運(yùn)：跨平臺填表、批量截圖歸檔、定時簽到打卡……把機(jī)械勞動交給 AI，人專注核心業(yè)務(wù)。

?? 注意事項（必看）：

1. 1. 幻覺風(fēng)險 ：大模型仍有誤判可能，復(fù)雜流程務(wù)必設(shè)置步數(shù)上限，關(guān)鍵操作保留人工確認(rèn)環(huán)節(jié)。

2. 2. 隱私紅線 ：涉及支付、密碼、敏感信息的操作，現(xiàn)階段請謹(jǐn)慎使用，建議在隔離或低風(fēng)險場景驗證。

3. 3. 延遲優(yōu)化 ：網(wǎng)絡(luò)波動或模型響應(yīng)慢會拖慢執(zhí)行速度。可嘗試切換低延遲模型，或結(jié)合云端服務(wù)器部署以提升穩(wěn)定性。

從“錄制回放”到“視覺識別”，再到如今的“大模型意圖理解”，安卓自動化終于跨過了最陡峭的學(xué)習(xí)曲線。mobilerun 的價值不在于替代人類，而是把我們從重復(fù)勞動中剝離出來，去處理更有創(chuàng)造性的工作。

項目已完全開源（ GitHub：https://github.com/droidrun/mobilerun），感興趣的同學(xué)建議先跑個 Demo 感受下。

如果你在配置 ADB、調(diào)參或部署時遇到問題，歡迎在評論區(qū)留言，星哥會逐一解答。