ios开发视频解码,ios视频编码和解码

iOS-视频硬编/解码（对帧图片编辑）

这里我们分为三步走

创新互联公司是专业的寒亭网站建设公司，寒亭接单;提供成都做网站、成都网站设计,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行寒亭网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

我这边采用的是 iOS利用VideoToolbox实现视频硬解码 中的方式，demo中提供了两种解码方式，一种是第三方库ffmpeg，另外一种是系统的videotoolbox库，效率基本上都差不多，作者封装后都会有一个代理回调，

两种回调都会有一个CMSampleBufferRef的对象，它是像素缓冲，其实就是我们解码后的每一帧的图片。

在第一步中我们已经拿到了每一帧的图片，现在我们在其基础上合成本地图片，合成图片我首先想到的是下面的方法，

这个方法是通过两个image的对象，最终合成一个新的image，效果可以实现，但是在我们这个场景中，我们在对视频解码时，是一个连续异步的操作，代理会不断的回调，此时如果采用这个方式，会多次创建局部对象， 不能及时释放，导致内存爆增 ，引起闪退。所以我采用以下方式

这里我用的是CIImage，它提供了一个系统的api

iOS 视频硬解码

公司的项目里有拉取H.264视频流进行解码播放的功能，本来是采用FFMpeg多媒体库，用CPU做视频的编码和解码，就是大家常说的软编软解。但是软解存在太占用CPU,解码效率低等缺点，所以我们一合计干脆用硬解码代替原来的方案。当然硬件解码使用的当然就是苹果大名鼎鼎的 Video ToolBox 框架，众所周知，苹果在iOS8开始才可以在iOS系统中调用该框架中的 API 。

图2.1展示的是通过 AVSampleBufferDisplaylayer 播放网络上获取的H.264码流。

但并不是说 AVSampleBufferDisplaylayer 能直接播放H.264码流，需要将H.264码流包装成 SampleBuffer 传给给 AVSampleBufferDisplaylayer 解码播放。

再来看一下H.264码流的构成，H.264码流由一系列的 NAL 单元组成。

NAL 单元一般包含：

所以如果要将H.264解码播放就需要将H.264码流包装成CMSampleBuffer。由图1.1可得 CMSampleBuffer = CMTime + CMVideoFormatDesc + CMBlockBuffer 。

解码步骤：

1.从网络获取的码流中获取SPS和PPS生成CMVideoFormatDesc。

（1）H.264 NALU 单元的 Start Code 是"0x 00 00 01" 或"0x 00 01"，按照 Start Code 定位NALU。

（2）通过类型信息找到 SPS 和 PPS 并提取，开始码后第一个 byte 的第5位，7代表 SPS ，8代表 PPS 。

（3)使用CMVideoFormatDescriptionCreateFromH264ParameterSets函数来构建CMVideoFormatDescription。

2.提取视频图像数据生成CMBlockBuffer。

(1)按照 Start Code 定位NALU。

(2)CMBlockBuffer数据需要的头部码为4个字节的长度，为：0x 00 80 00,所以需要将H.264的header给替换掉。

(3) CMBlockBufferCreateWithMemoryBlock 接口构造 CMBlockBufferRef 。

3.根据自己的需要设置CMTime

我的项目中的拉取的实时流需要实时播放，不需要设置时间间隔，所以不用设置CMTime。

4.根据上述得到 CMVideoFormatDescriptionRef 、 CMBlockBufferRef 和可选的时间信息，使用 CMSampleBufferCreate 接口得到 CMSampleBuffer 数据这个待解码的原始的数据。

5.用 AVSampleBufferDisplayLayer 处理得到 sampleBuffer 来显示图像。

至此成功用 Video Toolbox 硬件解码H.264码流，并在设备上播放视频。

可是，如果我们要拿到每一帧图像进行处理呢，那该怎么得到？

那么我们还需要用 VTDecompressionSession 解码成 CVPixelBuffer ,通过 UIImageView 或者 OpenGL ES 上显示。

(1)创建 VTDecompressionSession ，需要以下参数：

(2)调用 VTDecompresSessionDecodeFrame 接口进行解码。

(3)VTDecompressionSessionOutputCallback回调函数中可以得到解码后的结果 CVPixelBuffer ，可以将 CVPixelBuffer 转换成UIImage图像显示在ImageView上或者用 OpenGL ES 渲染图像。

ios开发，现在需处理一个视频剪辑的功能，对多媒体视频流处理，截取部分视频流，解码播放。。

首先告诉你摆渡知道没这方面的大神高手。懂的人也不会来这里混。。。你看到的回答大多数都是搬砖搬过来的，铁耙也是，懂的人不会去那里混的。你应该去多点论坛，什么CSDN，Cocoachina这一类。

然后，视频处理解码需要用到第三方库，用苹果默认的是不支持的。然后截取部分视频这个要用到一个代理方法。至于什么我忘记了，

iOS音视频编码

iOS音视频开发涉及的方面比较广泛，一般分为采集、音视频的封装、编码、推流、拉流、解封装、解码、播放等阶段。其中音视频的编码和解码阶段是非常重要的步骤。其中编码分为硬编码和软编码，对应解码分为硬解码和软解码。

硬编码是指使用非CPU进行编码，如显卡GPU、专用的DSP、FPGA、ASIC芯片等。

硬编码一般性能高，对CPU没有压力，但是对其他硬件要求较高（如GPU等）。

软编码是指使用CPU进行编码，软编码通常使用：ffmpeg+x264。

软编码实现直接、简单，参数调整方便，升级易，但CPU负载重，性能较硬编码低。

常见的直播服务普遍采用了RTMP作为流媒体协议，FLV作为封装格式，H.264作为视频编码格式，AAC作为音频编码格式。

iOS中编码方式：

在iOS8之前，苹果并没有开放硬编码的接口，所以只能采用ffmpeg+x624进行软编码

在iOS8之后，苹果开放了接口，并且封装了VideoToolBoxAudioToolbox两个框架，分别用于对视频音频进行硬编码

视频的编解码-编码篇

四、视频的编解码-编码篇

时间 2016-08-05 10:22:59 Twenty's 时间念

原文

主题 iOS开发 MacOS

在此之前我们通常使用的FFmpeg多媒体库,利用CPU来进行视频的编解码,占用CPU资源,效率低下,俗称软编解码.而苹果在2014年的iOS8中,开放了VideoToolbox.framwork框架,此框架使用GPU或专用的处理器来进行编解码,俗称硬编解码.而此框架在此之前只有MAC OS系统中可以使用,在iOS作为私有框架.终于苹果在iOS8.0中得到开放引入.

2014年的WWDC Direct Access to Video Encoding and Decoding 中,苹果介绍了使用videoToolbox硬编解码.

使用硬编解码有几个优点: * 提高性能; * 增加效率; * 延长电量的使用

对于编解码,AVFoundation框架只有以下几个功能: 1. 直接解压后显示;

2. 直接压缩到一个文件当中;

而对于Video Toolbox,我们可以通过以下功能获取到数据,进行网络流传输等多种保存： 1. 解压为图像的数据结构;

2. 压缩为视频图像的容器数据结构.

一、videoToolbox的基本数据

Video Toolbox视频编解码前后需要应用的数据结构进行说明。

CVPixelBuffer：编码前和解码后的图像数据结构。此内容包含一系列的CVPixelBufferPool内容

CMTime、CMClock和CMTimebase：时间戳相关。时间以64-bit/32-bit的形式出现。

pixelBufferAttributes:字典设置.可能包括Width/height、pixel format type、• Compatibility (e.g., OpenGL ES, Core Animation)

CMBlockBuffer：编码后，结果图像的数据结构。

CMVideoFormatDescription：图像存储方式，编解码器等格式描述。

(CMSampleBuffer：存放编解码前后的视频图像的容器数据结构。

CMClock

CMTimebase: 关于CMClock的一个控制视图,包含CMClock、时间映射(Time mapping)、速率控制(Rate control)

由二、采集视频数据可知,我们获取到的数据(CMSampleBufferRef)sampleBuffer为未编码的数据;

图1.1

上图中,编码前后的视频图像都封装在CMSampleBuffer中,编码前以CVPixelBuffer进行存储;编码后以CMBlockBuffer进行存储。除此之外两者都包括CMTime、CMVideoFormatDesc.

二、视频数据流编码并上传到服务器

1.将CVPixelBuffer使用VTCompressionSession进行数据流的硬编码。

(1)初始化VTCompressionSession

VT_EXPORT OSStatus VTCompressionSessionCreate(    CM_NULLABLE CFAllocatorRef                          allocator,    int32_t                                            width,    int32_t                                            height,    CMVideoCodecType                                    codecType,    CM_NULLABLE CFDictionaryRef                        encoderSpecification,    CM_NULLABLE CFDictionaryRef                        sourceImageBufferAttributes,    CM_NULLABLE CFAllocatorRef                          compressedDataAllocator,    CM_NULLABLE VTCompressionOutputCallback            outputCallback,    void * CM_NULLABLE                                  outputCallbackRefCon,    CM_RETURNS_RETAINED_PARAMETER CM_NULLABLE VTCompressionSessionRef * CM_NONNULL compressionSessionOut)    __OSX_AVAILABLE_STARTING(__MAC_10_8, __IPHONE_8_0);

VTCompressionSession的初始化参数说明:

allocator:分配器,设置NULL为默认分配

width: 宽

height: 高

codecType: 编码类型,如kCMVideoCodecType_H264

encoderSpecification: 编码规范。设置NULL由videoToolbox自己选择

sourceImageBufferAttributes: 源像素缓冲区属性.设置NULL不让videToolbox创建,而自己创建

compressedDataAllocator: 压缩数据分配器.设置NULL,默认的分配

outputCallback: 当VTCompressionSessionEncodeFrame被调用压缩一次后会被异步调用.注:当你设置NULL的时候,你需要调用VTCompressionSessionEncodeFrameWithOutputHandler方法进行压缩帧处理,支持iOS9.0以上

outputCallbackRefCon: 回调客户定义的参考值.

compressionSessionOut: 压缩会话变量。

(2)配置VTCompressionSession

使用VTSessionSetProperty()调用进行配置compression。 * kVTCompressionPropertyKey AllowFrameReordering: 允许帧重新排序.默认为true * kVTCompressionPropertyKey AverageBitRate: 设置需要的平均编码率 * kVTCompressionPropertyKey H264EntropyMode：H264的 熵编码 模式。有两种模式:一种基于上下文的二进制算数编码CABAC和可变长编码VLC.在slice层之上（picture和sequence）使用定长或变长的二进制编码，slice层及其以下使用VLC或CABAC. 详情请参考 * kVTCompressionPropertyKey RealTime: 视频编码压缩是否是实时压缩。可设置CFBoolean或NULL.默认为NULL * kVTCompressionPropertyKey ProfileLevel: 对于编码流指定配置和标准 .比如kVTProfileLevel H264 Main AutoLevel

配置过VTCompressionSession后,可以可选的调用VTCompressionSessionPrepareToEncodeFrames进行准备工作编码帧。

(3)开始硬编码流入的数据

使用VTCompressionSessionEncodeFrame方法进行编码.当编码结束后调用outputCallback回调函数。

VT_EXPORT OSStatus  VTCompressionSessionEncodeFrame(      CM_NONNULL VTCompressionSessionRef  session,    CM_NONNULL CVImageBufferRef        imageBuffer,    CMTime                              presentationTimeStamp,    CMTime                              duration,// may be kCMTimeInvalidCM_NULLABLE CFDictionaryRef        frameProperties,void* CM_NULLABLE                  sourceFrameRefCon,    VTEncodeInfoFlags * CM_NULLABLE    infoFlagsOut )    __OSX_AVAILABLE_STARTING(__MAC_10_8, __IPHONE_8_0);

presentationTimeStamp： 获取到的这个sample buffer数据的展示时间戳。每一个传给这个session的时间戳都要大于前一个展示时间戳.

duration: 对于获取到sample buffer数据,这个帧的展示时间.如果没有时间信息,可设置kCMTimeInvalid.

frameProperties: 包含这个帧的属性.帧的改变会影响后边的编码帧.

sourceFrameRefCon: 回调函数会引用你设置的这个帧的参考值.

infoFlagsOut: 指向一个VTEncodeInfoFlags来接受一个编码操作.如果使用异步运行,kVTEncodeInfo_Asynchronous被设置；同步运行,kVTEncodeInfo_FrameDropped被设置；设置NULL为不想接受这个信息.

(4)执行VTCompressionOutputCallback回调函数

typedefvoid(*VTCompressionOutputCallback)(void* CM_NULLABLE outputCallbackRefCon,void* CM_NULLABLE sourceFrameRefCon,        OSStatus status,        VTEncodeInfoFlags infoFlags,        CM_NULLABLE CMSampleBufferRef sampleBuffer );

outputCallbackRefCon: 回调函数的参考值

sourceFrameRefCon: VTCompressionSessionEncodeFrame函数中设置的帧的参考值

status: 压缩的成功为noErr,如失败有错误码

infoFlags: 包含编码操作的信息标识

sampleBuffer: 如果压缩成功或者帧不丢失,则包含这个已压缩的数据CMSampleBuffer,否则为NULL

(5)将压缩成功的sampleBuffer数据进行处理为基本流NSData上传到服务器

MPEG-4是一套用于音频、视频信息的压缩编码标准.

由 图1.1 可知,已压缩 $$CMSampleBuffer = CMTime(可选) + CMBlockBuffer + CMVideoFormatDesc$$。

5.1 先判断压缩的数据是否正确

//不存在则代表压缩不成功或帧丢失if(!sampleBuffer)return;if(status != noErr)return;//返回sampleBuffer中包括可变字典的不可变数组,如果有错误则为NULLCFArrayRefarray=  CMSampleBufferGetSampleAttachmentsArray(sampleBuffer,true);if(!array)return;  CFDictionaryRef dic = CFArrayGetValueAtIndex(array,0);if(!dic)return;//issue 3:kCMSampleAttachmentKey_NotSync:没有这个键意味着同步, yes: 异步. no:同步BOOL keyframe = !CFDictionaryContainsKey(dic, kCMSampleAttachmentKey_NotSync);//此代表为同步

而对于 issue 3 从字面意思理解即为以上的说明,但是网上看到很多都是做为查询是否是视频关键帧,而查询文档看到有此关键帧key值kCMSampleBufferAttachmentKey_ForceKeyFrame存在,因此对此值如若有了解情况者敬请告知详情.

5.2 获取CMVideoFormatDesc数据由 三、解码篇 可知CMVideoFormatDesc 包括编码所用的profile，level，图像的宽和高，deblock滤波器等.具体包含 第一个NALU的SPS （Sequence Parameter Set）和 第二个NALU的PPS （Picture Parameter Set）.

//if (keyframe !encoder - sps) {    //获取sample buffer 中的 CMVideoFormatDesc    CMFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer);    //获取H264参数集合中的SPS和PPS    const uint8_t * sparameterSet;size_t sparameterSetSize,sparameterSetCount ;  OSStatus statusCode =    CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 0, sparameterSet, sparameterSetSize, sparameterSetCount,0);if (statusCode == noErr) {        size_t pparameterSetSize, pparameterSetCount;        const uint8_t *pparameterSet;OSStatus statusCode =    CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 1, pparameterSet, pparameterSetSize, pparameterSetCount,0);if (statusCode == noErr) {            encoder-sps = [NSData dataWithBytes:sparameterSetlength:sparameterSetSize];encoder-pps = [NSData dataWithBytes:pparameterSetlength:pparameterSetSize];}    }}

5.3 获取CMBlockBuffer并转换成数据

CMBlockBufferRef blockBuffer = CMSampleBufferGetDataBuffer(sampleBuffer);    size_t  lengthAtOffset,totalLength;char*dataPointer;//接收到的数据展示OSStatus blockBufferStatus = CMBlockBufferGetDataPointer(blockBuffer,0, lengthAtOffset, totalLength, dataPointer);if(blockBufferStatus != kCMBlockBufferNoErr)    {        size_t bufferOffset =0;staticconstintAVCCHeaderLength =4;while(bufferOffset totalLength -  AVCCHeaderLength) {// Read the NAL unit lengthuint32_t NALUnitLength =0;/**

*  void *memcpy(void *dest, const void *src, size_t n);

*  从源src所指的内存地址的起始位置开始拷贝n个字节到目标dest所指的内存地址的起始位置中

*/memcpy(NALUnitLength, dataPointer + bufferOffset, AVCCHeaderLength);//字节从高位反转到低位NALUnitLength = CFSwapInt32BigToHost(NALUnitLength);            RTAVVideoFrame * frame = [RTAVVideoFramenew];            frame.sps = encoder - sps;            frame.pps = encoder - pps;            frame.data = [NSData dataWithBytes:(dataPointer+bufferOffset+AVCCHeaderLength) length:NALUnitLength];            bufferOffset += NALUnitLength + AVCCHeaderLength;        }    }

此得到的H264数据应用于后面的RTMP协议做推流准备。

iOS 音视频编解码基本概念（一）

内容元素:

当采集视频信号时，如果采用逐行扫描，则每次扫描得到的信号就是一副图像，也就是一帧。

当采集视频信号时，如果采用隔行扫描（奇、偶数行），则扫描下来的一帧图像就被分为了两个部分，这每一部分就称为「场」，根据次序分为：「顶场」和「底场」。

「帧」和「场」的概念又带来了不同的编码方式：帧编码、场编码逐行扫描适合于运动图像，所以对于运动图像采用帧编码更好；隔行扫描适合于非运动图像，所以对于非运动图像采用场编码更好

网络提取层单元(NALU, Network Abstraction Layer Unit)，

NALU 是用来将编码的数据进行打包的，一个分片(Slice)可以编码到一个 NALU 单元。不过一个 NALU 单元中除了容纳分片(Slice)编码的码流外，还可以容纳其他数据，比如序列参数集 SPS。对于客户端其主要任务则是接收数据包，从数据包中解析出 NALU 单元，然后进行解码播放。

宏块(Macroblock)，分片是由宏块组成。