人工智能:软件选项

  • 了解如何将机器学习模型集成到应用程序中
  • 开始编写应用程序集成代码

这些是本课的活动:

整合您的模型

现在,希望您的团队已经 

  • 训练的其人工智能模型使用健康数据集进行训练。
  • 测试用各种新数据对模型进行了测试

但你不能就这样放着不管! 

您希望您的模型采取 行动根据预测结果采取行动。

您需要 在应用程序中实现您的模型使其发挥作用。

大脑徘徊在电脑芯片上

选择平台

您使用哪个平台来编写应用程序取决于该平台:

  1. 您的移动应用程序编码平台偏好是什么
  2. 您使用哪个平台来训练模型

下面是第 5 单元讨论的机器学习平台。点击每个平台,查看将模型集成到应用程序中的一些选项。 

Teachable Machine 是一个非常通用的平台。您可以将模型保存到云端或保存为文件,因此您有很多与编码平台集成的选择。

视频介绍如何导出模型。

  • App Inventor 有一个由 Fabiano Oliveira 提供的 Teachable Machine Image Classification扩展,可以在扩展抽屉中下载和导入。
  • Teachable Machine 提供与机器学习库 Tensorflow 集成的代码片段。它提供 3 种代码片段选项:
    • Tensorflow.js - Javascript语言可让您创建网页或网络应用程序。
    • Tensorflow -用于创建网络应用程序的Python语言。
    • Tensorflow Lite -用于创建移动应用程序的Java语言。 

所有 3 个代码片段都为您提供了一个模型文件和可供复制的代码。根据语言的不同,您可能需要安装库和代码编辑器。代码片段中提供了说明链接。 

以下是使用 Tensorflow.js 选项的步骤:

    1. 复制代码并粘贴到计算机上的一个新的空白文本文件中。
      可教的机器代码片段
    2. 将其保存为 index.html(或其他扩展名为 .html 的文件)。 
    3. 在网络浏览器中打开文件。它将提供一个基本界面,您可以根据模型对网络摄像头捕捉到的图像进行分类。
    4. 如果您想上传图像而不是网络摄像头来进行分类,这段代码也可以。 (Chris Hoyean Song 提供)只需确保将原始代码片段中的模型 URL 复制到此文件中即可。 

Tensorflow 和 Tensorflow Lite 选项需要安装不同的软件和编码库。详情请查看github网站。

Technovation 集成: Python、App Inventor

目前,"儿童机器学习 "的唯一集成是 Python,它完全适用于初级和高级部门。 

要了解将儿童机器学习模型集成到 Python 的更多信息,请尝试本页的工作表。从制作类型下拉菜单中选择 Python。 

麻省理工学院的 App Inventor 是一个集成选项,但并非所有数据集类型都能完全工作。请访问儿童机器学习网站,确保您的数据集与 App Inventor 兼容。 

 

扩展App Inventor 中的扩展是为应用程序添加功能的外部组件,但不属于 App Inventor 核心组件。

使用 App Inventor 的分类器网站(图像声音)训练好图像声音模型后,您就可以使用 App Inventor 中的扩展功能在移动应用程序中实现模型。 

所有 App Inventor 扩展都可用 这里 并可下载和导入 App Inventor 中使用。为您的模型选择合适的扩展名。
  1. 单击 "设计器 "面板中的 "扩展"。
  2. 点击导入扩展名
  3. 单击 "选择文件",然后选择从上述扩展页面下载的扩展文件。
  4. 单击 "导入"按钮导入扩展及其模块。

您还需要在项目中添加一个 WebViewer 组件。它可以在用户界面抽屉中找到。

在下面的示例中,我们展示了如何设置图像分类器,但如果您的模型涉及声音,音频分类器的工作原理也大致相同。

要从分类器链接模型,首先要从分类器网站下载模型,然后、 

  1. 选择 PersonalImageClassifer 组件。
  2. 在 "属性 "面板中,单击 "模型 "下的 "无",然后上传下载的 model.mdl 文件。(文件可以任意重命名,但名称中必须有 .mdl 扩展名)。
  3. 单击 WebViewer 下的 "无",然后选择刚刚添加到项目中的 WebViewer 组件。

应用程序 inventor 中网络浏览器的截图

请注意 "InputMode(输入模式)"属性,它可以是视频或图像。如果选择视频,它将不断尝试对 WebViewer 中出现的视频源进行分类。如果选择图像,则必须添加相机或 ImagePicker 组件来获取图像进行分类。您仍然需要使用 WebViewer 组件来进行图像分类。

网络浏览器的输入模式

在以下视频中,您将看到如何将第 5 周中的健康水果和病害水果模型添加到 App Inventor 中,以创建一个可以使用手机摄像头识别健康水果和病害水果的移动应用程序。

在第二部分中,您将为分类器编写代码块。

使用 Ximilar 制作的模型可与应用程序接口配合使用,将其集成到应用程序中。

你可以使用 Thunkable 中的 Web API 组件将 Ximilar 等平台的外部模型集成到应用程序中。注:我们将在下一单元介绍Thunkable 中的应用程序接口

观看 Pratham 视频的第二部分,将第五单元中的珊瑚人工智能模型融入 Thunkable 移动应用程序。

活动:整合您的人工智能模型

预计时间:60 分钟以上

根据您选择的平台进行整合

  1. 查看将训练好的人工智能模型添加到项目中所需的特定平台。
  2. 在选定的平台上创建一个新项目,然后添加模型。具体方法取决于特定平台的流程。
  3. 采取行动!向平台添加组件和代码,让您的项目根据模型预测结果采取行动。

反思

您已经开始编写人工智能应用程序的动作部分代码!在这里,您可以看到模型的结果以及它真正能做什么!

现在是检查项目计划/画布的好时机,看看项目进展如何。您可能需要根据所使用的平台以及实现项目目标所需的步骤来调整时间表和任务。

一旦你的代码可以正常工作,也是时候向你的用户了解情况了。找一些人来测试您的应用程序并提供反馈。

核对表

关键术语回顾

  • 软件- 指在计算机或设备上运行的程序或应用程序
  • 扩展- 为现有程序添加功能的软件捆绑包

其他资源

使用 Teachable Machine 和 Coral 分拣棉花糖。

查看这些视频,了解更先进的人工智能工具!