首页 > DIY外设 > 显卡 > 应用> 正文

【Ai时刻】是谁独享GPT-4的视觉识别系统?让Ai成为视觉障碍者的眼睛

月亮背面的外星人 编辑: 孙奥睿 发布于:2023-05-08 00:15 PConline原创

在今年的3月中旬,OpenAi在GPT-4的发布会上表示,在未来GPT-4的应用层中将加入“图片识别理解能力”,旨在让GPT-4更好地认知现实事物,同时结合LLMs的优势理解产出相关文字内容,这一功能看上去非常酷,但OpenAi迟迟没有让这一功能上线公测,就在大家都怀疑是OpenAi在画饼,在做“PPT产品”的时候,一款名为“Be My Eyes”的应用打了质疑者的脸。

GPT-4发布会上所提及的“GPT笑话理解图”

“Be My Eyes”是一款老应用了,于2015年发布,由丹麦开发人员Hans J?rgen Wiberg创建。其是一款免费的移动端App,旨在帮助视力受损和盲人用户进行日常活动。这款应用充当视力受损人士与志愿者之间的桥梁,允许他们通过实时视频通话请求帮助。志愿者可以帮助解答各种问题,如阅读标签、识别颜色、找到物品等。

“Be My Eyes”官网介绍https://www.bemyeyes.com/

其充分利用了手机摄像头作为视觉障碍者的眼睛,如果某个志愿者收到请求却正忙于其他事情无法回应,该应用会自动将请求转发给其他可用志愿者,确保视力障碍用户能够第一时间得到帮助。截止2023年3月,该应用已经有了50万的视觉障碍者用户以及640万视力正常的志愿者,服务比高达12.8:1。

支持多达150个国家与180种语言,也支持中文

可是由于人与人沟通的心理压力障碍、交流障碍等种种原因,部分视觉障碍者还是没有接受该软件的解决方式,认为使用“Be My Eyes”意味着与陌生人共享个人信息和生活场景。这可能让一些视力障碍者感到危险,担心自己的隐私和安全。同时,部分视力障碍者可能会认为向他人寻求帮助会降低他们的自尊。他们可能觉得,通过应用程序请求帮助意味着承认自己的弱点和不足。

Ai绘画丨孤独沮丧的盲人

这些因素让“Be My Eyes”的推进遇到了瓶颈,直到Ai的火爆。在2022年GPT-3.5模型发布之时,其强大且难以置信的理解力就震惊了全世界,这个将人类2021年9月前的所有文明当作自己数据库的LLMs(大型语言模型),拥有着史无前例的Ai创造力。

“Be My Eyes”的创造者Wiberg在2023年2月就与OpenAi接洽,获得了GPT-4模型中的“图像理解生成技术”,通过该技术其推出了一项名为“虚拟志愿者”的新功能,该功能由OpenAI的GPT-4语言模型驱动。通过整合GPT-4的图像识别和文字生成技术,虚拟志愿者可以为视力障碍者提供更为深入的实时视觉辅助。用户可以通过应用发送图片,虚拟志愿者会对图片进行解析,并提供相关信息帮助。

“Be My Eyes”官网介绍https://www.bemyeyes.com/

从原理上讲,GPT-4模型实现图片理解功能的关键在于其图像识别和文字生成技术。首先,模型接收到用户上传的图片,对图片进行分析和识别,提取关键信息。在这一过程中,模型需要具备对不同物体、颜色、形状和场景的识别能力。然后,模型将识别到的信息转换为自然语言描述,与用户的问题相结合生成有针对性地回答。在此阶段,模型需要理解上下文信息并具备良好的对话能力,以便生成有用的建议和指导。

Ai绘画丨Ai图像识别示意图

在实际应用中,当用户拍下电视机的照片,并语音询问Ai,电视里在播放什么时,Ai即根据电视内容进行了回复“Based on the pictureprovided, it appears that theTV is displaying a videogame called Fortnite. 根据提供的图片,电视似乎正在显示一款名为《堡垒之夜》的电子游戏。”同时还可以转换成西班牙文。

“Be My Eyes”官网介绍https://www.bemyeyes.com/

在另一个案例中,带有Ai图像识别的虚拟志愿者,可以轻松帮助用户找到不同颜色的条纹衬衫,并告知用户其他衬衫的颜色。

“Be My Eyes”官网介绍https://www.bemyeyes.com/

来自美国的Lucy Edwards是一名失明了将近10年的盲人女孩儿,虽然眼睛看不见了,但她仍然保持着对生活的热爱,她是一位内容创作者和残疾活动家,以她的《盲女如何生活》系列和旅行视频博客生活等而广受欢迎,她拥有来自世界各地近百万的粉丝。在今年,她也成了“Be My Eyes虚拟志愿者”的内测人员。

图片源自于网络

到目前为止,她用这款工具帮助她阅读时尚目录,将中文成分翻译成英文,搜索网上食谱,为她自己的照片库中的图片编写代替文字,还帮助她阅读餐厅菜单。Edwards还展示了将虚拟志愿者用作私人教练和伦敦地铁导游的潜力。

图片源自于网络

Edwards表示Ai可以赋予视觉障碍者更高程度的自主性和私密性。AI技术使他们能够依赖个人设备独立完成各种任务,实现真正的自主,并且避免了与陌生人沟通所带来的尴尬和隐私问题。

图片源自于网络

当我们还在对Ai的技术归属与版权问题争论时,世界上已经有许多平时不会被关注、了解的人们开始让Ai技术更好地服务于他们的生活,比如视觉障碍者、听力障碍者或者语言障碍者,对于他们来说Ai技术似乎没有“强烈的威胁性”,而是真真实实地让他们感受到了科技进步的力量与便捷。

目前希尔顿、微软、宝洁、索尼加入到了Be My Eyes的虚拟志愿者测试中

对于AI技术,我们应该保持开放和包容的态度,鼓励创新与发展。但同时,要确保AI技术的安全,我们还需要关注潜在的伦理问题、隐私问题以及技术滥用的可能性。AI技术如同达摩克利斯之剑,它既可以为我们带来极大的利益,也可能导致无法预料的危险。因此,在积极推进AI技术的广泛应用时,我们需要不断审视其影响,以确保技术发展的可持续性和公平性。

Ai绘画丨一个机器人正在帮盲人过马路

月亮背面的外星人

网友评论

聚超值•精选

推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部