向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
烧瓷出身的“猛子政委”黄火星中将******
黄火星,江西省乐安县人,1909年7月出生,1930年11月加入中国共产主义青年团,翌年转为中国共产党党员,1955年被授予中将军衔。他身经百战、赤胆忠心,先后参加了土地革命战争、抗日战争、解放战争。新中国成立后,他担任共和国首任军事检察院检察长,是军事检察事业的开创者。
在反抗压迫中接受进步思想。1916年,因中原军阀混战和连年天灾,年仅7岁的黄火星就不得不同父母一起逃难至江西。为了拿钱给中途病逝的母亲安葬,他被卖给了当地陶瓷厂黄姓工人为子,并在陶瓷厂当学徒。1929年初,黄火星与共产党人余金德等人结为好友,在他们的教育和启发之下,黄火星开始接受进步思想,认识到自己被工厂资本家剥削的现实,开始反抗工厂老板的压榨。同年端午节,黄火星参加了党领导和发动的雄黄酒罢工运动。罢工运动在景德镇持续了一个多月,黄火星始终坚持在斗争一线,积极联合工友一起向反动政府施压,最后反动政府不得不释放被捕的工人,并答应了为工人们改善伙食的要求。罢工运动的胜利让黄火星感受到了工人阶级的强大力量并极大鼓舞了他参加革命的斗志。
1930年7月,红军第二次占领景德镇,并成立了市总工会,黄火星被任命为市总工会青年部宣传员。他积极向当地百姓宣传红军的政策,并用自己的亲身经历激励大家踊跃参加红军。红军撤离景德镇后,国民党反动派卷土重来,在景德镇到处捕杀共产党人和革命群众。黄火星便随市总工会纠察队转移到乐平众埠街,加入了浮梁游击大队,担任宣传员兼司务长,后来被派往赣东北特区葛源军政学校学习。
在土地革命战争中成长为“猛子政委”。军政学校毕业后,黄火星先后担任江西弋阳第四游击队政治委员、贵余万游击纵队俱乐部主任和赤色警卫师第1团团委书记等职。1932年5月,赤警师在发动地方暴动中失利,部队被打散,第1团团长和政委与部队失去了联系。黄火星毅然担起了收拢部队的任务,带领身边的几个战士四处打听,寻找失踪的战友,先后收拢了200余人并将他们送到信江北岸。随后,这支队伍被命名为红军独立第10团,黄火星担任政治委员。在此期间,黄火星带领部队积极与国民党军队开展游击斗争,巧妙利用灵活机动的战术对国民党部队进行打击和袭扰,并截获了大量军火和物资,部队装备得到改善,队伍不断壮大。
翌年1月,黄火星被任命为红11军第33师第95团政治委员,并参加中央苏区实施的第四次反“围剿”斗争。红11军所担负的任务是伪装成中央红军主力,从新丰渡过抚河进入黎川,吸引并牵制国民党军第36师主力。在战斗过程中,黄火星身先士卒,带领部队猛冲猛杀,就像一台战斗机器,只要号角声一响,他立刻带着部队上前厮杀,战友们互相调侃:“这哪里是个火星,这分明是个猛子嘛!”于是“猛子政委”的称号就在部队里流传开了。
在抗日战争中屡建奇功。卢沟桥事变后,全国进入了全民族抗战阶段。黄火星所在的闽西南部队被改编为新四军第2支队,黄火星担任支队第3团团长。他积极带领部队在横山、小丹阳地区开展抗日斗争,但条件十分艰苦,部队十分缺少物资给养和武器弹药。在一场战斗中,每个战士平均只能领到3发子弹,子弹打完了就只能和敌人肉搏拼刺刀。面对严峻的现实困难,黄火星不等不靠,带领部队自力更生,积极从敌人手里夺取物资和装备。在一次侦察中,黄火星发现安徽当涂至芜湖之间的日本军列时常会运输大量装备和物资。他便率领部队袭击了一辆军列,击毙了数十名押运的日本兵,缴获了大量武器弹药、毛毯和大衣,部队装备和给养得到很大改善。
1938年8月,日伪军在小丹阳地区为非作歹,抢劫村庄,残害百姓。黄火星听闻后,率部对日伪军进行袭击,毙伤340余名敌人,缴获大量枪支弹药,沉重打击了日伪军的嚣张气焰,为当地百姓出了一口恶气。1938年冬天,驻守南京的日军联队长凤山少佐集合了2000多名日伪军,将根据地进行四面合围,并对横山东北部的龙王山进行猛烈攻击,妄图一举消灭黄火星部。面对严峻复杂的形势,黄火星决定采取内外夹击的战法来对付日伪军的“扫荡”。他预先将两支队伍派到包围圈外作战,自己带领两个连队防守龙王山351高地。他率部在龙王山构筑了战壕、沟壑等掩体,利用树林、灌木作掩护,在外围两支队伍配合下,连续数次击退日伪军的疯狂进攻。战斗持续了两天两夜,黄火星部共击毙200余日伪军,缴获100多支步枪、4挺轻机枪,反“扫荡”斗争取得了初步胜利。
在军事检察事业中坚守原则。1955年5月,中央决定建立军事检察院,黄火星被任命为军事检察院筹建工作负责人。面对我军历史上和新中国检察史上的全新任务,黄火星将这个任务作为自己的全新挑战。军事检察工作是个全新事物,对一个长年带兵打仗的军人来说,更是毫无经验,一切都要从零做起。黄火星迎难而上,不懂法律就报名接受中国人民大学法律系函授教育,一有时间就去学习法律知识。工作中,他会随身携带一个公文包,将法律学习资料和工作文件装在里面,走到哪里闲下来就开始学习,以便自己能尽快掌握法律体系。在政策制定和人员调配上,他都事必躬亲,经常与工作人员谈论交流,虚心听取法律专业人员的意见建议。在他的各方协调和领导下,经过不到一年时间的筹备,就在全军各级建立起了军事检察机构并逐步走向成熟。在军事检察工作中,他始终坚持一切从实际出发的原则,严格区分两类不同性质的矛盾,落实中央对肃反工作的方针和政策,坚决做到“有反必肃,有错必纠”。在全国开展反右斗争活动中,他坚持实事求是的原则,努力抵制反右扩大化的错误做法。1971年4月27日,黄火星因病医治无效不幸逝世,终年61岁。(赵珠颜)
(文图:赵筱尘 巫邓炎)