使用AI为嵌入式设备创建GUI

部署令人愉快和流体的用户界面是开发现代软件应用程序的人的最大问题之一,无论是嵌入式系统,移动设备或计算机。开发图形用户界面(GUI)最终成为开发过程中的昂贵步骤,因为它需要一个良好的设计作业来创建应用程序的用户界面/用户体验(UI / UX)和编码本身,通常必须尝试在尝试在使用系统中提高用户体验时进行修改和返工。

本文展示了如何使用知识AI,一种使用深度学习来了解原型图像并转换为嵌入式设备的GUI的工具来减少这些接口的开发时间和改进这些接口的时间。此方法标识由设计专业人员设计的布局组件,生成XML标记文件,最后将XML转换为准备运行嵌入式系统,移动设备或台式机的项目中。此过程只需要几分钟并使用开源技术。

创建用户界面的困难

当出现新应用程序的开发思想时,用户界面和体验是极其重要的元素。项目需要多小时的工作是非常常见的,致力于思考应用程序如何呈现给用户以及该初始可执行界面的开发。

换句话说,在将良好的应用程序想法转换为源代码时,存在合理的成本和时间,特别是如果我们谈论嵌入式设备,那么与传统计算机相比,这与处理能力和内存较少。

因此,知识项目出现了缩短软件接口开发时间的目标,协助开发应用程序接口的初始和昂贵过程,将屏幕的设计转换为可执行和功能代码。换句话说,这个想法是一个使用深度学习了解图像的工具,识别由设计专业人员设计的组件,将该图像转换为XML标记文件,然后将此文件转换为准备执行的项目中的项目系统芯片,手机或计算机以及使用开源技术 TotalCross. for this purpose.

知识执行过程

知识有两个主要的执行模块: 知识-AI.KnowCode-XML.。知识码是基于深度神经网络,其具有超过60,000个图像的数据集作为输入。 KnowCode-XML是一个开源库,允许开发人员使用Android XML创建GUI并使用Linux ARM设备的低脚印运行 TotalCross. SDK..

该过程从图像原型开始,可以使用像图形,Adobe XD或Photoshop等任何设计工具创建的原型。知识码-AI未附加到任何设计工具,这意味着它可以处理甚至可以处理现有的屏幕截图以将从一种技术迁移到另一个技术。下一步是在原型图像上运行算法,该算法将检测屏幕上的每个元素,如按钮,textview,imageview等。

知识码-A的输出是XML标记文件,该文件将用作系统模块的输入,这将将此XML转换为各种设备平台上的可执行文件,例如Android,Linux,Linux-ARM和Windows。

为此,使用TotalCross SDK和Nubcode-XML库,既有免费和开源,都可以在最多样化的平台上创建可执行项目。换句话说,具有其两个模块,知识码-A和知识XML的知识系统允许开发人员使用屏幕图像启动过程,并以可以在不同平台上执行的项目结束,准备为每个项目添加功能屏幕,使用Java语言为此目的。

示例应用程序步行

如图1所示,家用电器应用程序是创建的设计,以演示使用知识工具的完整过程。此应用程序的代码可用 GitHub. .

点击查看完整大小的图片

图1.用于测试神经网络的设计。 (来源:TotalCross)

最初,屏幕的设计被添加到神经网络的测试中,图2示出了相同的出口标记,导致图像上的17个组件中的14个识别。

点击查看完整大小的图片

图2.具有神经网络制造的标记的设计。 (来源:TotalCross)

下一步是调整缺少的组件和屏幕上每个组件的轮廓中出现的差异。图3示出了用户对标记进行校正。

在图3中,它’可以看到用户调整神经网络标记,更改检测到的内容并通过拖动鼠标并输入其类型来进行新标记。

点击查看完整大小的图片

图3.用户对神经网络标记进行调整。 (来源:TotalCross)

每次测试新屏幕设计并使用户进行标记校正时,会生成两个XML文件:一个文件馈送神经网络,另一个文件是将用于生成应用程序的屏幕。      

第一个XML文件将打开网络的可能性,以便在下一次培训会话中学习在下一次培训课程中进行更精确的标记。脚本将图像和文件保存为正确的标记,以便模型经过持续的改进。

另一个文件是表示屏幕本身的Android XML(图4)。我们选择了这项技术,因为我们没有’T希望不必要地介绍一种新的格式。为什么不为不同的目的应用最熟悉的技术之一(在Linux Arm上运行)?

点击查看完整大小的图片

图4. Android XML输出。 (来源:TotalCross)

要在设备上运行Android XML,我们只需要使用TotalCross SDK创建一个新项目,导入XML文件并导入知识-XML库以在应用程序中执行XML。

图5(下面)说明了以获取图像开始的完整知识流到项目的结论。

点击查看完整大小的图片

图5.知识流。 (来源:TotalCross)

关于次优用例

知识-AI.当输入是屏幕图像时,在市场上常用的比例,如3:4,16:9,18:9或21:9。具有比例的比例的屏幕非常远离这些通常在网络的标记中产生低击中率。虽然项目后续行动不是障碍,但将需要更多的调整,从而增加了最终的UI创建时间。

结论

GUI创建是设计人员和开发人员的大挑战,对于嵌入式设备,甚至采用C / C ++这样的低级技术甚至更大,在设计原型和实际应用程序之间介绍了巨大的时间间隙,可以在设备。

KnowsCode带来了一种新方法来减少这个差距,使用计算机愿景将现有系统的图像原型或屏幕截图转换为使用TotalCross,Android XML等高级,建立和开源技术等待实际应用程序。这种方法将带有相关的时间达到高达80%,同时即使在低端设备上也保持相同的性能。如果您想尝试知识AI的结果,请将您的GUI原型发送给 [email protected] 我们将向您发送可执行文件和应用程序的源代码。

我们欢迎您的意见和建议。 =)


布鲁诺蒙迪 是首席执行官 TotalCross.。超过12年的企业家,TotalCross是他的第四家公司’S成立。布鲁诺拥有超过15年的软件开发经验,特别是在移动应用中。他有一个主人’计算机科学的阶段,是一个创业公司,并批重进入巴西的初创景点。布鲁诺认为自己是一个opensource noob,但总是学习= p
Iaggo Quezado 是TotalCross的开发人员。他是一名程序员,游戏玩家和科学计算机学生,他们喜欢长期游戏和编程课程,因为他的房间与RGB有明亮。
Patrick Martins. 是TotalCross的程序员,专注于机器学习,数据科学和计算机愿景。他是计算机工程学生,制造商和Aquarist。

相关内容:

更嵌入, 订阅嵌入式’S每周电子邮件时事通讯.

发表评论

本网站使用AkisMet减少垃圾邮件。 了解如何处理评论数据.

发布时间: 2021-05-13 13:11:48

最近发表