Microsoft Expressive Pixels:适用于Windows 10的新的免费开发平台

想象一下,您在家中在家中并且可以远程工作。您有一个同伴。您甚至都没有转过身,但表情符号会显示在LED显示屏上,您周围的所有人都可以看到:STOP标志。现在您的家人知道您现在很忙,因此您无需多说。



这是富有表现力的像素的众多用途之一 。 Microsoft Store现在免费提供允许您创建动画效果图的Windows 10开发平台。除了该应用程序外,它还具有一套软件,借助该软件,您可以使用LED显示屏通过视觉效果或表情符号进行通信。



所有这些扩展了非语言交流的可能性,为开发人员提供了通过开源API进行创造性使用的新方式,并降低了有抱负的程序员,设计师和研究人员的进入门槛。





富有表现力的Pixels还可以作为爱好者或经验丰富的程序员的跳板,使他们可以创建新作品,而不必弄清楚如何在小型设备上对动画和图像进行编程-有一个专用的库。



无论您在哪里工作,学习或社交,Expressive Pixels均可提供动画方式来个性化您的空间并扩大您的形象,就像图像,纪念品和各种小玩意一样。



“我们非常重视日常的基本功能,但是当您想到使我们成为人类的是情感时。微软中小型企业业务战略和项目总经理Bernice Yu表示,我们要表达自己的情感并保持相互联系。她是Expressive Pixels项目团队的成员,为Eyes First的2019年发布做出了很大贡献,该版本 使用 Windows 10 Eye Control,这是为视障和行动障碍人士提供的关键可访问性功能。 “有生产力是很棒的,但是我们都想成为人。这是不可侵犯的需求。”



富有表现力的Pixels建立在Microsoft与Enable Group之间多年深入而富有成果的合作基础上  以及严重视力障碍和行动不便的人。这项工作的目的是试图了解这种人的喜好,他们在与他人交流和互动,创造性的自我表达和自我识别中出现的需求和问题,以及通过使用新的扩展来增强传统的增强和交替交流(AAC)设备的功能。非语言交流,自我表达,广播社交信号和设备状态的功能。



富有表现力的像素







沟通的例子不只是您所写和所说的。其中大部分是非语言过程,包括知道何时该轮到您讲话。



哈里什·库尔卡尼(Harish Kulkarni)

云解决方案和Microsoft Cloud and AI小组AI框架团队的技术经理Harish Kulkarni说:``该解决方案可用于严重情况,或作为一种有趣的创造性方式来讲述自己的情况。''他已经成为Enable团队的成员多年,并且为将Eye Control集成到Windows 10中做了很多工作。



在此过程中,该团队接受了最意外的创新,以技术带给人们的好处为灵感,用新思想克服了障碍。



当开发人员意识到他们需要一种可以在房间的任何地方和任何照明条件下都能轻易看到的外形尺寸时,他们转向了第三方制造商提供的用户友好型LED显示屏,例如Sparkfun,Adafruit和Silicon Squared Displays。是定制的多合一设备,旨在由Expressive Pixels团队的唯一工程师Gavin Jahnke解决分辨率,通信,存储和动画问题。但是,只需将动画GIF插入电子邮件中,就可以在没有LED显示器或其他设备的情况下使用富有表现力的像素。



然后又出现了另一个问题:开发软件,使其更容易在显示器上显示动画。 Jahnke再次接受了挑战,并创建了固件,该固件与开发应用程序一起构成了可以在多个设备上运行的平台。使用此固件,制造商可以使用或扩展某些方面。创建者可以在应用程序的Cloud Gallery中共享其原始动画。



Jahnke发挥了表现力像素这些关键元素的作用-业余时间都在主要工作范围之外。



硅平方显示器:原型和显示器演进

     





该设备的第一个版本是一个16像素的简单显示,排列成一个圆圈。为了制作该原型,使用了切割器-切出半透明的圆形材料,将其覆盖在显示屏上,以散射来自LED的亮光。



“通常,当我在做某事时,我会用它做饭。”微软研究部开发总经理Jahnke开玩笑说。但是他变得认真,并补充说:“我的职责是帮助那些无法获得适当服务的人群和社区,向他们提供由于他们的技术能力而无法获得的东西,但是这是我的技术能力之内。”



Jahnke从事所有行业,在过去三年致力于该项目的过程中获得了包括电气工程领域在内的新技能。在此过程中,他创建了一种新类别的设备,该设备具有比以前可用的分辨率更高的RGB LED显示屏。他还想出了如何使用蓝牙技术和各种机制来触发开关,MIDI信号等动画来为用户提供最大的移动性。



他说:“真正有趣的是,走出舒适区并学习新东西会带来意想不到的后果。” “您会得到惊人的想法和能力。”







Microsoft团队以“在一起”模式进行富有表现力的Pixels团队会议。后排(从左到右):Anne Paradiso,BerniceY。第二排从上(左到右):Noel Sophie,Gavin Yanke和Jarnael Chaj。排在第三位的是:杜安·兰姆(Duane Lamb),史黛西(Stacey Stutz)。下排:Christopher O'Dowd。



富有表现力的像素之旅始于五年多以前,当时Enable Group致力于改善增强和替代通信(AAC)设备,这些设备通常价格昂贵,因为它们是医疗市场的一部分。







跨设备的富有表现力的像素。



首席开发官安妮·帕拉迪索(Anne Paradiso)领导了这项工作,希望将自己的精力用于服务他人。在加入Enable Group之前,她曾在Microsoft Research的Jahnke团队工作,Jahnke并没有拒绝她的帮助,尤其是在该项目获得发展势头的时候。



他们首先与前NFL球员史蒂夫·格里森(Steve Gleason)合作,后者在被诊断出患有ALS(肌萎缩性侧索硬化)后激发并激发了研究。虽然格里森(Gleason)善于使用眼动追踪技术,但他仍然发现出现技术问题时很难进行交流,因此必须看着屏幕而不是试图与他交流的人。



“与只用眼睛控制语音设备的人交谈时,您会注意到,与正常讲话相比,交谈的速度要慢得多。 Paradiso说,即使通过提高的预测准确性和眼动识别能力,通过AAC进行的对话通常会慢12到25倍。 “因此,我们经常观察对话者如何无法忍受长时间的沉默,或者无法理解他们正在为他准备答案,并继续讲话,而有语言障碍的人却没有机会讲话。”



这导致涉及ALS患者及其家人的以用户为中心的研究。天堂(Paradiso)和她的员工定期与他们会面,陪同他们去看医生,观察他们与神经科医生,言语治疗师,物理治疗师以及许多其他人的互动。会议在家里和Microsoft实验室中举行。由此产生的信任使研究人员能够真正地了解残疾人周围的生态系统,了解支持系统和家庭成员的态度,检查设备,并找出有效的方法和无效的方法。



我们很快意识到优化LED显示器以进行基于表情符号的通信是一个巨大的机会。



安妮·帕拉迪索

“表情符号已经在数字通讯平台中无处不在,包括短信,电子邮件和社交媒体。他们采取较少的行动来传达意图,背景或情绪。单个表情符号图标可以极大地改变或改善消息的感知。 Paradiso说,我们认为它们可以用作无法表达或控制负责面部表情的肌肉的人的其他表达介体。 -与我们一起工作的拥有ALS的人是我认识的一些最有趣,最有思想和创造力的人,但是由于可用的语音设备及其底层技术的残障和不完善,他们表达思想的机会有限。我们知道,人们希望用他们的AAC设备表达更多,而不仅仅是简单的交流。我们想要创造一种东西,以帮助人们更积极地参与对话,在低光下和远处都可以看到,并且还提供了另一种机会来表达,交流和传递情感。”



开发人员尝试了各种其他屏幕,但由于以下几个原因而返回到LED显示屏:它们价格便宜,运行合理,并且“很酷”。研究中具有ALS的人也明确表示,他们不想使用任何可能对用户造成不良社会后果的东西。



“观察并授权ALS患者,使他们能够做他们从未希望的事情就足以激励他们努力工作,” 2017年初加入Enable Group的开发商Duane Lamb说。用户界面和用户界面。 -通常,当您与只能用眼睛交流的人交谈时,该人在看着他前面设备的键盘时输入文本。而且,尽管这是一种不好的形式,但从社交礼仪的角度来看,您通常会抬高对话者的肩膀,以期查看对话者的打字内容。”



富有表现力的像素的出现部分是由于要解决此问题。





表情像素应用中的表情符号



Christopher O'Dowd说,Expressive Pixels可用于制作各种尺寸的动画,最大可显示64×64像素,他填补了项目中的硬件空白。 O'Dowd指出,Maker Faire的LED显示屏无处不在,在节假日期间甚至更多。 LED显示屏用途广泛,即使在织物(例如口罩,帽子和背包)或横幅上也经常可以找到它们。



富有表现力的Pixels团队在LED显示屏上的首批应用之一是 屡获殊荣的SXSW Music Without Hands项目



该项目使用具有Midi支持和音乐同步功能的定制LED矩阵。它是用于眼睛控制的物理鼓套件的可选可视化工具,该套件是为Expressive Pixels成员之一设计的,该成员是与ALS一起居住的西雅图音乐家。该项目获得了2018年SXSW交互式创新奖:音乐和音频创新奖,该软件包括一套新的,针对眼球的应用程序,可用于创作和表演音乐以及进行协作。



“一个无法说话和动弹以作曲或演奏音乐的人,如何指挥舞台上发生的事情或与现场听众接触,该怎么办?与其他已排练或即兴演奏的音乐家一起表演呢?我们如何降低障碍,使学校音乐计划更具包容性,而不是使残疾儿童参与度最小化或使之最小化?追寻这些基本问题答案的愿望驱使着我们-天堂回忆。 “我们希望调整我们的技术和设计,以使其适合人们的创造目标和现实生活情况,反之亦然。”



Lamb的想法是增加对乐器数字接口(MIDI)的支持,以将不同的信号发送到不同的乐器,此想法后来被传递给Expressive Pixels。







Paradiso说:“每次我们为新目标而努力时,我们都会进一步推动该平台的发展。”



富有表现力的Pixels平台向众多创意人士开放。这不仅是一个开发人员社区,还是可以开发项目以帮助他人并使用Microsoft MakeCode学习JavaScript的 学生。根据Jahnke的说法,MakeCodes通常只有很少数量的LED,因此完整的显示功能为学生提供了广泛的范围,使学生可以使用连接到MakeCode小工具的诸如Silicon Squared显示器之类的东西进行创建,实验和编程。



Jahnke说:“ Expressive Pixels为学生提供了一种简便的方法,可以将应用内动画轻松地集成到他们的MakeCode程序和硬件创作中。”



应用程序本身将知道设备上存储了哪些动画,因此不同的命令将导致它做出相应的反应。



她在Paradiso的Enable项目以及其他Enable项目再次激发了她对自己已经工作了将近20年的公司的热情。



``有这么多人聚在一起,许多人花费自己的时间为自己做的事比我们每个人都要大-它激发并与我们公司的价值观和使命相一致,这使我感到高兴并给予希望所有人拥有一个更具包容性和创造力的未来。



 Expressive Pixels.



All Articles