搜索

中国航空工业集团公司北京长城航空测控技术研究所《测控技术》杂志社版权所有
地址:北京市亦庄经济技术开发区经海二路航空工业科技商务园9号楼 邮编:101111 
编辑部:010-65667497;
广告部:010-65667357;

发行部:010-65667497;
网管部:010-65667357;

扫码关注微信公众号

本网站为《测控技术》指定官方网站

Coypright◎2012-2018 北京长城航空测控技术研究所      京ICP备09097201号-2

按应用领域分类

按应用领域分类

按应用领域分类

测控技术

华为发布全新一代OceanStor存储Pacific系列,打造海量数据存储新标杆
日本康泰克最新推出基于HTML5技术的HMI/SCADA软件 CONPROSYS™ HMI System(CHS) 产品·服务
莱迪思推出全新Certus-NX, 重新定义低功耗通用FPGA
NI​推出​可​简化​功能​测试​的​全新​ECU​测试​系统
泓格智能 3G RTU模块新产品上市: RTU-531PM
Maxim Integrated发布高度可靠的Arm Cortex-M4F微控制器
Pickering Interfaces公司发布了业内最大规模的PXI矩阵开关模块
移远通信携手华大电子推出NB-IoT增强型开发板

知识工程

微视频

应用案例:火箭鼻锥正弦扫频试验
发布时间:
2020-07-02 13:39
数据采集系统中隔离的作用(下)
发布时间:
2020-06-30 15:10
数据采集系统中隔离的作用(上)
发布时间:
2020-06-28 14:54
贸泽丰富多样的Infineon家电解决方案
三强联手 突破重围,研华助力无人车间物流系统智能再升级
对高压大功率驱动中的高压元件进行故障诊断
德国威图自动化系统——官方系列产品总览篇
NI助力钱学森实验室空间无线网络测试验证技术的研究

测控技术

知识工程

微视频

应用案例:火箭鼻锥正弦扫频试验
发布时间:
2020-07-02 13:39
数据采集系统中隔离的作用(下)
发布时间:
2020-06-30 15:10
数据采集系统中隔离的作用(上)
发布时间:
2020-06-28 14:54
贸泽丰富多样的Infineon家电解决方案
三强联手 突破重围,研华助力无人车间物流系统智能再升级
对高压大功率驱动中的高压元件进行故障诊断
德国威图自动化系统——官方系列产品总览篇
NI助力钱学森实验室空间无线网络测试验证技术的研究

测控技术

知识工程

微视频

中国航空工业集团公司   中航高科智能测控有限公司  北京瑞赛长城航空测控技术有限公司   中国航空工业技术装备工程协会  中国航空学会

中国航空工业集团公司北京长城航空测控技术研究所 《测控技术》杂志社版权所有
地址:北京市亦庄经济技术开发区经海二路航空工业科技商务园9号楼 邮编:101111 
编辑部:010-65667497;
广告部:010-65667357;

发行部:010-65667497;
网站管理部:010-65665345

基于嵌入式人工智能芯片的H265视频编码应用设计

浏览量
【摘要】:
摘要:介绍了在欧比特视频智能开发平台下实现的一种H265码流实时传输系统。采用Tensor Flow生成基于YOLO V3的神经网络模型进行人工智能算法分析,利用欧比特提供的媒体处理平台(MPP)采集高清摄像头感应到的视频图像并进行H265压缩编码,然后对LIVE555开源代码进行二次开发,实现播放H265实时码流的功能,将压缩编码后的数据发送出去。设计结果表明,系统传输高清视频图像延迟短,播放流

基于嵌入式人工智能芯片的H265视频编码应用设计

 

张业强,唐芳福,张志国,韩俊,赵厉,黄仕林

珠海欧比特宇航科技股份有限公司,珠海 519080

摘要:介绍了在欧比特视频智能开发平台下实现的一种H265码流实时传输系统。采用Tensor Flow生成基于YOLO V3的神经网络模型进行人工智能算法分析,利用欧比特提供的媒体处理平台(MPP)采集高清摄像头感应到的视频图像并进行H265压缩编码,然后对LIVE555开源代码进行二次开发,实现播放H265实时码流的功能,将压缩编码后的数据发送出去。设计结果表明,系统传输高清视频图像延迟短,播放流畅,满足智能监控领域应用的要求。

关键词:嵌入式;人工智能;H265;视频;应用;

中图分类号:TP332文献标识码:A        

文章编号:

 

The Design of H265 Video Codec System based on Embedded AI Chip

Zhang YeqiangTang FangfuZhang ZhiguoZhao LiShilin Huang

Zhuhai Orbita AerospaceScience&Technologyy Co.,Ltd., Zhuhai 519080, China

Abstract:This paper introduces a H265 real -time stream transmission system achieved on the AI video development platform of Orbita. It captures video image from HD camera and encodes it as H265 format by Media Process PlatformMPPprovided by Orbita, then does the LIVE555 open source a secondary development to live H265 real -time stream. The design result indicates that the system meets the requirement of applications in the intelligent monitor field, with low latency on the transmission of HD video image and fluency on playing.

Key Words:Embedded system; Artificial Intelligence; H265; Video; Application;

1         引言

随着视频图像技术的发展,视频监控在各个行业的应用越来越广泛,高清晰度的视频图像使监控人员能够进行更加直观有效的观测,但高清晰视频图像所带来的海量视频数据对传输带宽提出了更高的要求。因此,对高清视频数据进行更高效率的压缩传输,成为视频监控领域的一个重要研究内容。

20世纪90年代人工智能应用在视频监控技术上以来,经过数十年的发展,这项起源于计算机视觉的技术伴随着商业化的逐步应用正日益受到人们的普遍重视。作为视频监控的未来发展方向,基于人工智能的视频分析技术的市场化伴随着技术的不断成熟而逐步扩大,并慢慢的形成为一个产业。特别是在国内,视频监控的智能化趋势已经日渐明显。

然而,技术应用对视频的质量、传输的实时性和数据的压缩效率等提出了要求,对项目开发构成了巨大挑战。本文设计并实现了一套实时流媒体传输系统,以基于欧比特人工智能芯片的开发平台作为基础,以高压缩效率的H265编码算法作为编码技术,通过对TensorFlow开源代码二次开发实现H265码流实时传输从而构成了整个系统。该系统在视频质量、压缩效率、实时性上都满足了当前市场应用的要求,对实际项目开发具有一定的借鉴意义。

2         系统结构概述

本文所设计的基于欧比特人工智能芯片的 H265 视频编码系统由1个图像采集模块、图像数据缓存、1AI处理加速模块、1个图像网络输出模块、数据接口、H265编码器模块及电源转换单元组成,系统硬件结构图如图1所示。通过在人工智能视频硬件开发平台上开发应用程序,实现对图像的实时智能分析及传输。

硬件系统工作流程如下:首先,图像采集模块通过Camera-Link总线输入全彩色视频到人工智能芯片内,人工智能芯片将原始的图像数据缓存到DDR RAM上;接着,AI处理加速模块从数据缓存中将图像数据读出,并根据软件程序对图像进行智能分析处理,处理结果被写入到DDR RAM上;最后,数据分两路输出到片外:一路通过视频接口输出到显示器上显示,供开发人员直观地观察,另一路经H265编码器编码压缩后通过以太网/RAPIDIO/PCIE接口转发输出。AI处理加速模块和H265格式编码相互配合工作,既满足了图像高压缩率的需求,又能实时地完成针对图像数据的智能分析处理,有效实现了视频监控的智能化。

1 系统硬件结构框图

如图2所示为系统的软件结构图,系统以欧比特人工智能芯片开发平台作为基础,并在硬件平台上烧写了U-BootLinux内核并加载了相关驱动程序。开发人员可以在该平台上使用Tensor Flow AI开发框架及MPP(多媒体处理平台)开发应用程序。

软件系统工作流程如下:首先,Linux进程A获取来自图像采集模块的原始视频图像,送入AI处理加速模块进行分析;接着,使用H265压缩编码算法进行压缩编码获得H265格式码流,该过程通过使用欧比特公司提供的媒体处理平台(MPP)实现;其次,进程B负责响应网络客户端的请求,将进程A的输出码流通过千兆以太网接口实时地发送出去,该过程通过对LIVE555开源代码(该代码原本只支持文件发送功能,而不支持内存实时数据发送功能)二次开发实现;此外,进程A与进程B之间的数据交换使用共享内存进程通信方式,节约了CPU资源和时间成本。

 

2 系统软件结构框图

3         人工智能算法处理

利用欧比特人工智能芯片中的AI处理器加速模块,可以运行人工智能算法完成对图像数据的分析处理。加速模块支持现有大部分的公开网络,如AlexnetVGG16GooglenetResnet18Resnet50等等,以及Faster R-CNNSSDRFCN等类型的网络。使用配套的软件及工具链可以在Tensor FlowCaffe框架下完成深度学习模型的训练。

本文以基于YOLO V3网络的图像识别程序开发为例,说明基于欧比特人工智能视频处理平台的开发流程:

.训练阶段

    1.tensorflow打包数据

        1)在线读取,通过placeholder变量,把数据送入Yolo V3网络,进行计算(效率低)

        2)采用tfrecoder进行高效数据读取

    2.网络架构与训练

        经过步骤1数据格式处理,处理后的数据已经可以被送入网络进行分析。同时开发人员需设计完善网络结构,网络优化方法,最后把数据送入网络中。

    3.可视化显示

.测试阶段

     直接通过加载图模型,读取参数等,然后直接通过tensorflow的相关函数,进行调用,而不需要网络架构相关的代码,通过feed_dict的方式,对相关的输入节点赋予相关的数据,进行前向传导,并获取相关的节点数值

.移植阶段

    算法经过实验阶段后,接下来进入移植商用,因此接着需要采用tensorflowc api函数,直接进行预测推理。首先把tensorflow编译成链接库,然后编写cmake,调用tensorflow链接库。

4         H265实时码流传输的软件实现

本系统中,H265实时流媒体数据的传输在LIVE555C++开源项目的基础上实现。LIVE 555是跨平台的流媒体解决方案,使用RTSPRTCP/RTP等标准流媒体传输协议,支持H265H264MPEG等视频格式和多种音频格式的流化、发送、接收等处理。此外,由于良好的代码框架设计,很容易扩展出对其他媒体格式的支持,所以大量应用在流媒体传输方案中,比如网络视频监控应用、流媒体播放器等。

这种方法不需要修改LIVE555源代码,只需在视频捕捉与编码源进程中创建一个FIFO,并不断把实时H265码流写入FIFO中即可。LIVE555服务器端用发送音视频文件的方式获取FIFO中数据,完成实时直播。这种方法容易实现,使用较多,但是当视频码流率较大时监控端的延时较大,并存在卡顿、马赛克等现象,效果较差。另一种方法是通过修改LIVE555源代码,从实现RTSP服务的相关基类派生出H265码流直播的类,重写类的成员方法来实现。该方法通过共享内存进程通信方式实现与视频捕捉和编码进程的码流交互。这种方法的实现比较复杂,但在数据处理过程中比第一种方式少了多次数据写入和拷贝工作,从而监控端能够以较大码流率实时、流畅地播放高清视频图像。本文主要针对第二种方法的设计实现,而不讨论第一种方法。

LIVE555主要通过任务调度机制和RTSP服务机制两个部分实现流媒体服务器功能。其中任务调度机制主要通过TaskScheduler类库实现,它完成网络套接字任务、延时任务和触发事件三种任务的循环调度,从而构成了系统运行框架。而RTSP 服务机制通过工程的live Media目录下的类库实现,通过把RTSP 协议加入到运行框架中,实现了流媒体服务器。下面具体分析RTSP服务机制的实现过程。

首先,建立RTSP Server,监听客户端的连接请求,响应客户端请求建立连接后,创建RTSPClient SessionRTSP协议就是在RTSPClient Session中实现的。然后是RTSP协议的实现过程,客户端向服务器端发送RTSP描述命令(DESCRIBE),服务器查找到对应的ServerMediaSession(对应某个媒体设备或某种格式文件),并生成会话描述协议(SDP)信息进行回应;接着,客户端发送RTSP建立命令(SETUP),服务器端建立RTP/RTCP套接字,并建立特定的SourceSink,为数据的获取、封包和发送做准备;完成以上步骤后,客户端发送播放命令(PLAY),服务器端响应请求,循环调用Source对象的成员方法获取数据并通过Sink对象的成员方法进行封包和发送,实现流媒体服务器的功能;在播放过程中,客户端可以发送终止命令(TERADOWN)结束流媒体会话。

RTSP协议实现过程可知,为了支持H265实时流媒体数据传输,需要实现用户自定义类ServerMediaSub-sessionSourceSink。自定义的类可以继H265VideoFileServerMediaSub-sessionH265VideoRTP SinkH265VideoStream Framer中能共用的方法,重写H265实时流媒体处理特有的方法。具体实现方法是添加H265LiveVideoServer-MediaSub-sessionpublic H265VideoFileServerMediaSub-session类,并重写createNewStream Source成员方法。这样,当服务器端收到客户端PLAY命令时,不断调用H265FramedLiveSource::doGetNext Frame()读取H265格式视频数据,封包和发送出去,实现H265码流实时传输功能。
在主函数中,只需在创建ServerMedia Session时加入H265LiveVideoServerMediaSub-session,并向RTSP Server中注册该ServerMedia Session即可。

5         结论

在欧比特人工智能视频开发平台上,通过调用Tensor Flow、多媒体开发平台进行编程和修改LIVE555流媒体服务器源代码,实现了H265实时码流获取和网络直播功能,且具有良好的效果,可以应用在项目开发中。由于系统还处在测试阶段,不够完善,实际项目开发中,要根据实际情况进一步优化,以达到更好的性能。

 

 

 

 

参考文献

[1] 瞿洪桂.网络视频监控的市场现状及发展方向[J].中国安防,20155):32-35.

[2] Edward JajaZaid OmarAb Al-Hadi Ab Rahmanet al .EfficientMotion Estimation Algorithms for HEVC/H265 Video Coding[M].Germany: Springer, 2015.

[3] Safaaldin Shaima'Ercelebi Ergun. Design and Implementation ofa Teleconferencing System Using Improved HEVC coding[J]. Journalof Real-Time Image Processing, 2016, 12(2): 383~395

[4] 季健佼.解析海思H.265超高清IP视频监控解决方案[J].中国公共安全(综合版),201422):198-200202.

[5] 王峰.基于Hi3516的音视频采集及网络传输技术研究[D].西安:西安电子科技大学,2013.

[6] 曾金,毛燕琴,沈苏彬,等.嵌入式流媒体服务器的设计和实现[J].计算机技术与发展2011217):81-8489.

[7] 许华滨,谢维波,黄奕,等.基于Live555的流媒体服务器设计与实现[J].微型机与应用,20143318):48-50.

[8] 吕少君,周渊平.基于Live555的实时流媒体传输系统[J].计算机系统应用,2015241:56-59.

[9] 彭宏,吴海巍,叶敏展,等.基于流媒体的移动视频直播系统的设计与实现[J].电子技术 应用,2014409):111-113117.

 

 

知识工程

按照应用领域分类

按照技术领域分类

视频展示

相关文件