AI領域，能否讓智能體像人類一樣在計算機上自主完成各種任務，一直是一個具有挑戰性的課題。而今天我們介紹的Cradle框架，正是向這一方向邁出了重要的一步。通過Cradle，基礎模型可以通過屏幕截圖作為輸入，鍵盤和鼠標操作作為輸出，在統一的界面下執行復雜的計算機任務。

? 最新更新

在2024年6月27日，Cradle框架迎來了重大更新！該框架現已擴展到四款游戲：荒野大鏢客2（RDR2）、星露谷物語（Stardew Valley）、都市：天際線（Cities: Skylines）和Dealer's Life 2，以及包括Chrome、Outlook、Capcut、美圖和飛書在內的各種軟件。此外，我們還發布了最新的論文。歡迎大家查閱！

最新視頻

通過點擊下方任意視頻縮略圖，觀看Cradle在各大環境中的表現。

?? ?? ?? ?? ??

? 安裝指南

準備環境文件

Cradle目前提供對OpenAI和Claude的API訪問，請在項目根目錄創建.env文件存儲API密鑰（其中一個即可）。

示例.env文件內容：

OA_OPENAI_KEY = "your_openai_key"
RF_CLAUDE_AK = "your_claude_access_key"
RF_CLAUDE_SK = "your_claude_secret_key"
AZ_OPENAI_KEY = "your_azure_key"
AZ_BASE_URL = "your_azure_base_url"
IDE_NAME = "Code"

前往OpenAI獲取OpenAI API密鑰，或Azure Portal獲取Azure OpenAI的API密鑰，Anthropic獲取Claude的API密鑰。

設置

Python 環境

請按照以下步驟設置Python環境并安裝所需依賴：

#?克隆倉庫
git?clone?https://github.com/BAAI-Agents/Cradle.git
cd?Cradle

#?創建新conda環境
conda?create?--name?cradle-dev?python=3.10
conda?activate?cradle-dev
pip?install?-r?requirements.txt

安裝OCR工具

您可以選擇以下任一方式安裝OCR工具Spacy：

1. 從Spacy下載并安裝最佳匹配版本的模型：

python?-m?spacy?download?en_core_web_lg

或者

2. 從path或URL安裝：

pip?install?https://github.com/explosion/spacy-models/releases/download/en_core_web_lg-3.7.1/en_core_web_lg-3.7.1.tar.gz

? 開始使用

由于每個游戲和軟件之間存在巨大差異，我們提供了具體的設置說明：

1. Red Dead Redemption 2
2. Stardew Valley
3. Cities: Skylines
4. Dealer's Life 2
5. 軟件設置

? 文件結構

對于希望將我們的框架應用于新游戲的用戶，這一部分主要展示Cradle的核心目錄和組織結構，我們將重點標注對遷移到新游戲的相關模塊，并提供詳細說明。

Cradle
├── cache # 緩存GroundingDino和bert-base-uncased模型
├── conf # 環境和llm模型的配置文件
├── deps # Cradle框架的依賴項，可忽略
├── docs # Cradle框架的文檔，可忽略
├── res # Cradle框架的資源
│   ├── models # 可忽略
│   ├── tool # RDR2的子查找器
│   ├── [games or software] # 游戲或軟件的資源，如rdr2、dealers、skylines、stardew等
├── requirements.txt # Cradle框架的需求文件
├── runner.py # Cradle框架的主入口
├── cradle # Cradle的核心模塊
│   ├── config # Cradle框架的配置
│   ├── environment # Cradle框架的環境
│   │   ├── [games or software] # 游戲或軟件的環境
│   ├── gameio # 直接包裝技能注冊和環境控制的接口
│   ├── log # Cradle框架的日志
│   ├── memory # Cradle框架的記憶模塊
│   ├── module # 目前只有技能執行模塊，未來會遷移其他模塊，如動作規劃、自我反思等
│   ├── planner # Cradle框架的計劃模塊，將統一接口用于動作規劃、自我反思等模塊
│   ├── runner # 對每個游戲和軟件的執行邏輯
│   ├── utils # 一些輔助功能，如保存和加載json
│   └── provider # Cradle框架的提供者模塊
│       ├── augment # 圖像增強方法
│       ├── llm # 調用LLM模型，如OpenAI的GPT-4o、Claude等
│       ├── object_detect # 物體檢測方法
│       ├── process # 用于動作規劃、自我反思等模塊的預處理和后處理方法
│       ├── video # 視頻處理方法
│       ├── others # 其他操作方法，如保存和加載坐標等
│       └── ...
└── ...

同類項目介紹

在通用計算機控制領域，還有一些其他值得關注的項目：

1. OpenAI's Codex：這是一個由OpenAI開發的代碼生成模型，能夠通過自然語言指令生成代碼，并執行特定任務。它在代碼生成和自動化任務中表現尤為出色。

2. Google's DeepMind：DeepMind團隊開發了一系列能夠執行復雜任務的AI模型，其中包括AlphaGo、AlphaStar等，它們展示了AI在解決復雜問題和高競爭環境中的潛力。

3. IBM Watson：Watson是一個能夠在多領域提供AI解決方案的智能系統，廣泛應用于醫療、金融、教育等領域，通過自然語言處理和機器學習技術，提供智能化服務。

4. Microsoft's Bonsai：Bonsai是一個由微軟推出的工業控制AI平臺，能夠通過機器教學和強化學習技術，幫助企業實現生產流程的智能化和自動化。

每個項目都有其獨特的應用場景和技術優勢，它們共同推動了通用計算機控制和智能體技術的發展。希望Cradle框架能為更多用戶帶來便利，助力基礎模型在通用計算機任務中展現其強大潛力。