OpenAdapt：AI驱动的多模态大模型桌面自动化工具

OpenAdapt AI-First Process Automation with Large ([Language (LLMs) / Action (LAMs) / Multimodal (LMMs)] / Visual Language (VLMs)) Models 项目地址: https://gitcode.com/gh_mirrors/op/OpenAdapt

项目介绍

OpenAdapt 是一个开源软件适配器，旨在连接多模态大模型（LMMs）与传统的桌面和网页图形用户界面（GUIs）。通过OpenAdapt，用户可以利用AI的力量来自动化重复的GUI工作流程，从而节省大量时间和精力。

项目技术分析

OpenAdapt 的核心技术在于其能够记录屏幕截图和用户输入，并将这些数据聚合和可视化，以便于开发和分析。具体来说，OpenAdapt 通过以下步骤实现自动化：

1. 记录与聚合：记录用户的屏幕截图和输入操作，并将这些数据进行聚合和可视化。
2. 数据转换：将截图和用户输入转换为标记化的格式，便于后续处理。
3. 生成合成输入：通过变换器模型生成合成输入，模拟用户的操作。
4. 任务树生成：分析记录数据，生成任务树，以便于后续的自动化操作。
5. 回放与执行：回放生成的合成输入，完成自动化任务。

项目及技术应用场景

OpenAdapt 的应用场景非常广泛，尤其适用于需要频繁执行重复性任务的领域，例如：

• 办公自动化：自动处理日常办公中的重复性任务，如数据输入、文件整理等。
• 软件测试：自动化测试流程，减少人工干预，提高测试效率。
• 客户支持：自动执行常见问题的解决方案，提升客户支持效率。
• 教育培训：自动生成教学演示，帮助学生更好地理解复杂的操作流程。

项目特点

1. 模型无关性：OpenAdapt 不依赖于特定的AI模型，具有高度的灵活性和适应性。
2. 自动提示生成：通过学习人类演示自动生成提示，确保任务的准确性和成功率。
3. 广泛兼容性：支持各种类型的桌面GUI，包括虚拟化环境和网页。
4. 开源免费：基于MIT许可证，用户可以自由使用、修改和分发。

安装与使用

OpenAdapt 提供了两种安装方式：

• 脚本安装：适合非技术用户，简化安装过程。
• 手动安装：适合技术用户，允许更多的控制和定制。

安装步骤

Windows

1. 打开PowerShell。
2. 复制并粘贴以下命令，按Enter键执行：

   Start-Process powershell -Verb RunAs -ArgumentList '-NoExit', '-ExecutionPolicy', 'Bypass', '-Command', "iwr -UseBasicParsing -Uri 'https://raw.githubusercontent.com/OpenAdaptAI/OpenAdapt/main/install/install_openadapt.ps1' | Invoke-Expression"
   

MacOS

1. 下载并安装Git和Python 3.10。
2. 打开终端。
3. 复制并粘贴以下命令，按Enter键执行：

   /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/OpenAdaptAI/OpenAdapt/HEAD/install/install_openadapt.sh)"
   

手动设置

1. 安装Python 3.10、Git、Tesseract（用于OCR）和nvm（node版本管理器）。
2. 使用Poetry进行安装：

   git clone https://github.com/OpenAdaptAI/OpenAdapt.git
   cd OpenAdapt
   pip3 install poetry
   poetry install
   poetry shell
   poetry run postinstall
   cd openadapt && alembic upgrade head && cd ..
   pytest
   

使用示例

1. 启动系统托盘图标和Web仪表盘：

   python -m openadapt.entrypoint
   

2. 创建新录制：

   python -m openadapt.record "testing out openadapt"
   

3. 可视化录制：

   python -m openadapt.visualize
   

4. 回放录制：

   python -m openadapt.replay NaiveReplayStrategy
   

结语

OpenAdapt 通过结合多模态大模型的强大能力，为用户提供了一个高效、灵活且易于使用的自动化工具。无论您是开发者、测试人员还是普通用户，OpenAdapt 都能帮助您节省时间，提高工作效率。立即加入我们，体验AI驱动的自动化新时代！

加入我们的Discord社区

阅读我们的架构文档

参与讨论

OpenAdapt AI-First Process Automation with Large ([Language (LLMs) / Action (LAMs) / Multimodal (LMMs)] / Visual Language (VLMs)) Models 项目地址: https://gitcode.com/gh_mirrors/op/OpenAdapt