搜索

中国航空工业集团公司北京长城航空测控技术研究所《测控技术》杂志社版权所有
地址:北京市亦庄经济技术开发区经海二路航空工业科技商务园9号楼 邮编:101111 
编辑部:010-65667497;
广告部:010-65667357;

发行部:010-65667497;
网管部:010-65667357;

扫码关注微信公众号

本网站为《测控技术》指定官方网站

Coypright◎2012-2018 北京长城航空测控技术研究所      京ICP备09097201号-2

按应用领域分类

按应用领域分类

按应用领域分类

测控技术

Pickering Interfaces公司将在Electronica South China慕尼黑华南电子展上展出PXI自动化测试模块
Pickering Interfaces推出交流或直流大电流负载开关模块仅占用一个PXI槽位
EL51xx:四款超小体积的高性能端子模块进一步完善了倍福的 EtherCAT I/O 系列
Maxim Integrated发布支持车载USB PD端口的buck/boost控制器
研华双鳍片全方位对流散热器,创新散热技术,释放卓越计算性能!
瑞地测控牵头推进车载毫米波雷达测试标准化,NI赋能首个方法落地
新思科技IC Validator在AMD EPYC处理器支持的Azure虚拟机上运行
Teledyne e2v 为下一代 3D 视觉系统推出无比灵活的高分辨率 ToF 传感器

知识工程

微视频

蔚华科技携手NI提供射频测试解决方案
欧陆科技解读:IEC/UL/CSA 62368-1电气距离要求及与60950-1差异
Spectrum仪器AWG卡为第二次量子革命开创性研究提供卓越精准度
元脑生态伙伴发布业内首个HEIF图像高质量压缩FPGA加速方案
研华科技于2020中国国际服贸会展出最新8K视频影像解决方案
实现安全的自动驾驶的取舍迫在眉睫
如何克服复杂待测件在生产测试中的挑战
集智达基于国产化可信计算和安全增强技术的应用案例

测控技术

知识工程

微视频

蔚华科技携手NI提供射频测试解决方案
欧陆科技解读:IEC/UL/CSA 62368-1电气距离要求及与60950-1差异
Spectrum仪器AWG卡为第二次量子革命开创性研究提供卓越精准度
元脑生态伙伴发布业内首个HEIF图像高质量压缩FPGA加速方案
研华科技于2020中国国际服贸会展出最新8K视频影像解决方案
实现安全的自动驾驶的取舍迫在眉睫
如何克服复杂待测件在生产测试中的挑战
集智达基于国产化可信计算和安全增强技术的应用案例

测控技术

知识工程

微视频

中国航空工业集团公司   中航高科智能测控有限公司  北京瑞赛长城航空测控技术有限公司   中国航空工业技术装备工程协会  中国航空学会

中国航空工业集团公司北京长城航空测控技术研究所 《测控技术》杂志社版权所有
地址:北京市亦庄经济技术开发区经海二路航空工业科技商务园9号楼 邮编:101111 
编辑部:010-65667497;
广告部:010-65667357;

发行部:010-65667497;
网站管理部:010-65665345

基于嵌入式人工智能芯片的H.264编解码应用设计

浏览量
【摘要】:
摘要:设计了一种基于嵌入式人工智能芯片的H.264编解码应用系统,整个系统由软件和硬件两部分组成,对于硬件部分,嵌入式人工智能芯片是整个系统的核心,其外围设备有FLASH、SDRAM等存储器件和各种通信接口。此外,还有RS232、JTAG、LAN等调试接口。对于软件部分,引导程序与嵌入式Linux内核、根文件系统一起形成嵌入式系统的基本运行环境。该系统可广泛应用于航空航天电子、视频监控、工业控制、

基于嵌入式人工智能芯片的H.264编解码应用设计

黄仕林,唐芳福,张志国,韩俊,赵厉,张业强

珠海欧比特宇航科技股份有限公司,珠海 519080

摘要:设计了一种基于嵌入式人工智能芯片的H.264编解码应用系统,整个系统由软件和硬件两部分组成,对于硬件部分,嵌入式人工智能芯片是整个系统的核心,其外围设备有FLASHSDRAM等存储器件和各种通信接口。此外,还有RS232JTAGLAN等调试接口。对于软件部分,引导程序与嵌入式Linux内核、根文件系统一起形成嵌入式系统的基本运行环境。该系统可广泛应用于航空航天电子、视频监控、工业控制、金融终端等控制领域。

关键词:人工智能芯片;H.264编解码;航空航天;视频监控

中图分类号:TP332文献标识码:A        

Design of H.264 Codec Application Based on Embedded Artificial Intelligence Chip

Huang ShilinTang FangfuZhang ZhiguoZhao LiZhang Yeqiang

Zhuhai Orbita Aerospace Science&Technology Co., Ltd., Zhuhai 519080, China

Abstract:An H.264 codec application system based on embedded artificial intelligence chip is designed. The whole system consists of software and hardware. For the hardware part, the embedded artificial intelligence chip is the core of the whole system. Its peripheral devices include FLASH, SDRAM, etc. Storage devices and various communication interfaces. In addition, there are debugging interfaces such as RS232, JTAG, and LAN. For the software part, the boot program forms the basic operating environment of the embedded system together with the embedded Linux kernel and the root file system. The system can be widely used in aerospace electronics, video surveillance, industrial control, financial terminals and other control fields.

Key wordsArtificial intelligence chip; H.264 codec;Aerospace; Video Surveillance

 

1.  概述

基于嵌入式人工智能芯片的H.264编解码应用系统,是借助嵌入式人工智能芯片的开发平台及H.264出色的编码效率和压缩性能开发出的一款设计。嵌入式人工智能芯片的最大优势是性能高、功耗低、延时低等,人工智能芯片的创新给未来也带来了无限可能性。

H.264是一种高性能的视频编解码技术,是由国际电信标准化部门ITU-T和国际标准化组织ISO/国际电气标准会议IEC联合开发的,定位于覆盖整个视频应用领域,包括低码率的无线应用、标准清晰度和高清晰度的电视广播应用、Internet上的视频流应用、传输高清晰度的DVD视频以及应用于数码相机的高质量视频应用等等。

相对先前的标准,H.264/AVC无论在压缩效率、还是在网络适应性方面都有明显的提高,因此,业界普遍预测其将在未来的视频应用中替代现有的视频压缩标准。从标准制定到颁布,H.264一直是ITuMPEGDVDDVB3GPP等工业化组织共同推进的视频编码国际标准,可以想见,在众多行业巨擘的推动下,H.264技术的应用将迅速进入到视频服务、媒体制作发行、固定及移动运营网络、平台开发、设备终端制造、芯片开发等多个领域[1]

2.  系统整体设计

整个系统由软件和硬件两部分组成,对于硬件部分,嵌入式人工智能芯片是整个系统的核心,其外围设备有FLASHSDRAM等存储器件和各种通信接口。此外,还有RS232JTAGLAN等调试接口。对于软件部分,引导程序与嵌入式Linux内核、根文件系统一起形成嵌入式系统的基本运行环境[2]

3.  硬件构成

硬件部分核心主要是嵌入式人工智能芯片,鉴于保密原则,简单介绍嵌入式人工智能芯片的特性。

人工智能芯片可实现多个目标跟踪、检测、识别等,具有性能高、功耗低、延时低等特性。纵观信息产业发展历程,从个人电脑时代到移动互联网时代,承载高性能计算的芯片决定了新型计算平台的基础架构和发展生态,并掌握着产业链最核心的话语权。人工智能芯片也被视为未来人工智能时代的战略制高点。嵌入式人工智能芯片可以简化指令系统和提高运算效率。

嵌入式人工智能芯片的分类角度很多,但一般都是从芯片技术架构、功能和应用领域等角度进行划分,通常从人工智能芯片的技术架构角度将其划分为通用性人工智能芯片(GPU)、半定制化人工智能芯片(FPGA)、全定制化人工智能芯片 (ASIC) 和类脑人工智能芯片[3]

1、基于通用性的嵌入式人工智能芯片需要与CPU 相互协调才能工作,主要依赖于GPU 强大的数据处理能力和并行计算功能[3]

2、基于半定制化的嵌入式人工智能芯片是通过异构的形式实现规模数据处理,且由于功耗低而具有一定的吸引能力[3]

3、基于全定制化的嵌入式人工智能芯片在高性能计算和低功耗领域具有十分明显的优势,同时构建的系统可靠性高[3]

4、基于类脑的嵌入式人工智能芯片通过全新的架构设计,来模仿人类大脑实现对外界的感知和思考,是最具发展潜力的人工智能芯片[3]

4.  软件结构

软件部分包括嵌入式系统的构建、应用软件的设计两大部分。其中前者包括嵌入式交叉开发环境的建立、的设计和实现、嵌入式内核的移植、根文件系统的实现。应用软件包括嵌入式搭建和视频播放程序的设计[2]。其结构如图1所示。

1 软件结构

4.1嵌入式Linux系统的构建

1)嵌入式交叉环境

确定嵌入式开发的目标平台后,首先要建立交叉开发环境。交叉开发环境的软件核心是一套交叉编译工具链,它是运行在本地平台上,用于编译生成在目标平台上运行的可执行文件的一组编译软件。嵌入式交叉开发的本地平台通常采用X86 Linux平台或X86 Windows平台。而嵌入式交叉开发的目标平台取决于其处理器的体系结构和采用的操作系统[2]

2Bootloader

Bootloader是在系统加电后、嵌入式操作系统运行之前执行的一段小程序。它的作用是初始化硬件设备、建立内存空间的映射表,从而建立适当的系统软硬件环境,为调用操作系统内核做好准备[2]

3)嵌入式Linux内核

嵌入式Linux内核的开发和研究是操作系统领域中的一个热点,目前己经开发成功的嵌入式系统中,大约有一半使用的是LinuxLinux之所以能在嵌入式系统市场上取得如此辉煌的成果,与其自身的优良特性是分不开的。比如广泛的硬件支持,内核高效稳定,开放源码,软件丰富优秀的开发工具,完善的网络通信和文件管理机制[2]

4)根文件系统

根文件系统是Linux系统的一个重要组成部分。它提供Linux内核运行所必需的库文件、设备文件、系统配置文件等。嵌入式Linux支持的文件系统有数十种之多,其中JFFS2是一种针对NOR Flash为存储器件而开发的嵌入式Linux文件系统。根据嵌入式Linux系统的特点和本课题所选用的硬件平台,本设计是采用JFFS2文件系统[2]

4.2驱动程序

系统调用是操作系统内核和应用程序之间的接口,设备驱动程序是操作系统内核和机器硬件之间的接口。设备驱动程序为应用程序屏蔽了硬件的细节,这样在应用程序看来,硬件设备只是一个设备文件,应用程序可以象操作普通文件一样对硬件设备进行操作。设备驱动程序是内核的一部分,它完成以下的功能[2]

(1)    对设备初始化和释放;

(2)    把数据从内核传送到硬件和从硬件读取数据[2]

(3)    读取应用程序传送给设备文件的数据和回送应用程序请求的数据;

(4)    检测和处理设备出现的错误。

本设计涉及的驱动程序主要是Framebuffer驱动。由于Linux世界各种源码的开放性和丰富性,在内核的源码树中已经提供对这类设备驱动程序的支持,可以在这些源码基础上,做一些必要的移植工作[2]

4.3应用程序

应用软件的设计包括两部分,嵌入式GUI搭建和视频播放器的设计[2]

1)嵌入式GUI搭建:嵌入式GUI的使用使系统更人性化,方便用户的操作,是嵌入式研究中的一个重点[2]

2)视频播放器设计:视频播放器包括视频解码模块和视频播放模块。视频解码模块,该模块用于完成对图像数据的解码处理,读取视频文件,对其进行解码处理后将重建帧传给视频播放模块使用;视频播放模块,接收视频解码模块传递的数据,将其在LCD上播放,并提供界面,接收用户命令,执行相应的任务[2]

5.  H.264编解码技术的应用前景

据国外媒体报道,视频搜索网站MeFeedia最新调查研究报告显示,自今年1月份以来,H.264格式越来越多地被采用,增长了160%。MeFeedia网站的索引目录包含3万项源视频网站地址,例如,HuluCBSABCCNNMTVYouTube等等。据MeFeedia网站5月份的数据显示,26%的视频采用H.264编码格式。而在1月份时,只有10%的视频采用H.264编码格式。MeFeedia网站的研究报告显示许多旧格式视频(比如新闻和电视节目)没有改用H.264编码格式,而大多数新的视频都采用了这一标准。多家媒体公司宣布计划采用H.264编码格式,放弃原先的Flash播放器[1]

此外,视频编码服务商Encoding.com的消息也证实,今年第一季度2/3的视频以H.264格式编码,相较去年同期增长了两倍多。视频搜索引擎blinkxEncoding.corn的数据显示,H.264已经成为主流的网络视频编码技术。blinkx称,在该公司目前索引的网络视频中,85-90%采用H.264编码技术[1]

鉴于H.264作为全球通用标准的优势,国内大部分企业在部署新的视频应用时都有可能采用H.264,并且,正因为应用的广泛性,H.264的相关设备价格将会迅速下降,部署成本也将因此得以降低[1]

我国的广电系统和电信运营商曾经将H.264作为主要的推动方向,并取得了一系列的成绩。在目前电信已经实行运营的lPrv项目中,几乎全部采用了H.264;广电系统的各大电视台在进行从模拟向数字转换,以及网络双向改造中,也大量采用了H.264技术标准[1]

国内在H.264标准产品化方面比较领先的是上海富翰微电子的编解码芯片和深圳海思半导体的编解码芯片,投入研究的单位主要包括清华大学、上海交通大学、暨南大学等。上海富翰微电子已经发布了基于H.264标准的高清网络摄像机和多通道网络视频服务器解决方案[1]

H.264的应用,能够促进以下几个方面的发展:

(1)视频监控的全IP化和高清化;

(2)蓝光DVD及上下游硬件设备的发展;

(3)局域网容量需求的上升,以及由此带动的网络存储容量升级;

(4)数字电视、IPTV发展的提速,以及上下游产品和内容源质量提升;

(5)网络带宽的进一步升级等。

由于H.264标准能在较低的码率下实现更高的画质,并且编码工具较为简单,适应性强(高低码率、各种分辨率),适合于各类网络(宽带、窄带)与系统(组播、DVD存储、RTP/IP包网络、ITu—T多媒体电话系统)应用。H.264/MPEG4AVC视频编码技术已经得到了BD蓝光光盘、数字电视、通讯与多媒体组织及厂商的普遍支持[1]

H.264标准制定以来,使运动图像压缩技术上升到了个更高的阶段,能在较低带宽上提供高质量的图像传输,被视做下一代视频编解码应用的最佳实现之一。普遍认为其会是将来更具竞争力的标准[1]

6.  结束语

目前,嵌入式人工智能芯片在朝着模拟人脑方向发展,逐渐渗入到我们的日常生活中,具有巨大的发展潜力。随着嵌入式人工智能芯片的成熟发展,H.264视频编解码得到越来越广泛的应用。基于嵌入式人工智能芯片的H.264编解码应用将朝着更好的未来发展。

参考文献

[1]     易巍,赵子涵.H.264视频编解码标准及其应用[J].林区教学, 2010(6):78-80.

[2]     张建江.基于嵌入式LinuxH.264视频播放系统设计[D].江苏大学,2007.

[3]     褚世旋.人工智能芯片及其应用技术分析[J].中国新通信珠.2019,21(02):5-6.

[4]     尹首一,郭珩,魏少军. 人工智能芯片发展的现状及趋势[J]. 科技导报, 2018, 36(17):45-51.

 

知识工程

按照应用领域分类

按照技术领域分类

视频展示

相关文件