软件版本:VIVADO2021.1
操作系统:WIN10 64bit
硬件平台:适用 XILINX A7/K7/Z7/ZU/KU 系列 FPGA
实验平台:米联客-MLK-H3-CZ08-7100开发板
板卡获取平台:https://milianke.tmall.com/
登录“米联客”FPGA社区 http://www.uisrc.com 视频课程、答疑解惑!
1概述 本方案在前面方案的基础上增加一路视频输入,实现2路视频采集后在HDMI显示器上显示。
关于FEP-GPIO-CEPX3扩展卡介绍请阅读“附录1”。
关于OV5640摄像头介绍请阅读“附录1”。
关于VDMA IP的使用请阅读“附录2”
本文实验目的:
1:掌握OV5640摄像头寄存器输出分辨率的修改方法
2:掌握多个VDMA同时使用的同步解决方法
3:掌握VDMA视频格式中Stride参数的使用
4:掌握VDMA与HDMI之间之间如何进行帧同步,如何实现3帧图形缓存,确保图形不撕裂。
2系统框图
3硬件电路分析 硬件接口和子卡模块请阅读“附录1”
配套工程的FPGA PIN脚定义路径为soc_prj/uisrc/04_pin/ fpga_pin.xdc。
4搭建SOC系统工程
4.1PL图形化编程 系统输出部分的搭建请,阅读“04视频图形显示方案(VDMA)”一文中“5.4搭建SOC系统工程”这一章节,本文增加VDMA输入部分。下面给出完成的工程,并且就新增加的输入部分加以介绍。
上图中高亮部是VDMA的帧同步计数器,由于是使用HDMI输出,为了防止图像撕裂,所以我们使用park模式下,将收到的摄像头数据三次缓存,这样可以确保视频不出现撕裂,CAM1中的VDMA IP和输出视频的VDMA0 IP 都设置成slave模式,而CAM0中的VDMA设置为Master模式,后面SDK中的VDMA寄存器配置也需要做响应的设置。
另外,我们对CAM0和CAM1的IP在BD图像模块中做了层级封装,这样可以让复杂的BD图像设计,看起来更加简洁,如下图所示。
这个技巧如下,选中需要层级封装的IP,右击选择Create Hierarchy
1:CAM0中VDMA IP设置
以下设置CAM0/VDMA 为主模式
2 :CAM 1 中VDMA IP设置
以下设置CAM1/VDMA 为从模式,帧同步跟随主模式的CAM0/VDMA
3: 视频输出 VDMA IP 设置
以下设置视频输出 VDMA 为从模式,帧同步跟随主模式的 CAM0/VDMA
4.2设置地址分配 以sccb方式初始化摄像头的地址空间截图
4.3添加PIN约束 1:选中PROJECT MANAGERà Add SourcesàAdd or create constraints,添加XDC约束文件。
2:打开提供例程,复制约束文件中的管脚约束到XDC文件,或者查看原理图,自行添加管脚约束,并保存。
以下是添加配套工程路径下已经提供的pin脚文件。配套工程的pin脚约束文件在uisrc/04_pin路径
4.4编译并导出平台文件 1:单击Block文件à右键àGenerate the Output ProductsàGlobalàGenerate。
2:单击Block文件à右键à Create a HDL wrapper(生成HDL顶层文件)àLet vivado manager wrapper and auto-update(自动更新)。
3:生成Bit文件。
4:导出到硬件: FileàExport HardwareàInclude bitstream
5:导出完成后,对应工程路径的soc_hw路径下有硬件平台文件:system_wrapper.xsa的文件。根据硬件平台文件system_wrapper.xsa来创建需要Platform平台。
5搭建Vitis-sdk工程 创建soc_base sdk platform和APP工程的过程不再重复,如果不清楚请参考本章节第一个demo。
5.1创建SDK Platform工程
5.2创建camx2_5640 APP测试工程
6程序分析
6.1主程序分析
/********************MILIANKE**************************
*Company : MiLianKe Electronic Technology Co., Ltd.
*WebSite:[url]https://www.milianke.com[/url]
*TechWeb:[url]https://www.uisrc.com[/url]
*tmall-shop:[url]https://milianke.tmall.com[/url]
*jd-shop:[url]https://milianke.jd.com[/url]
*taobao-shop1: [url]https://milianke.taobao.com[/url]
*Create Date: 2021/10/15
*File Name: 5640_test.c
*Description:
*Declaration:
*The reference demo provided by Milianke is only used for learning.
*We cannot ensure that the demo itself is free of bugs, so users
*should be responsible for the technical problems and consequences
*caused by the use of their own products.
*Copyright: Copyright (c) MiLianKe
*All rights reserved.
*Revision: 1.0
****************************************************/
#include "xil_exception.h"
#include "xil_printf.h"
#include "xil_cache.h"
#include "vdma_pl.h"
#include "xgpio.h"
#include "HDMIdma_intr.h"
#include "sccb_iic.h"
#include "ov5640_cfg.h"
#include "sys_intr.h"
//内存地址空间定义
#define BUF_BASE_SIZE 0x08000000
#define BUF_RANG_SIZE 0x800000
#define BUF1_ADDR BUF_BASE_SIZE + BUF_RANG_SIZE*0
#define BUF2_ADDR BUF_BASE_SIZE + BUF_RANG_SIZE*1
#define BUF3_ADDR BUF_BASE_SIZE + BUF_RANG_SIZE*2
//设置输出视频参数
#define VIDEO_OUT_HSIZE 1280*4
#define VIDEO_OUT_STRIDE 1280*4
#define VIDEO_OUT_VSIZE 720
#define IMG_SIZE VIDEO_OUT_HSIZE*VIDEO_OUT_VSIZE
//设置输入视频0参数
#define VIDEO0_IN_HSIZE 640*4
#define VIDEO0_IN_STRIDE 1280*4
#define VIDEO0_IN_VSIZE 480
//设置输入视频1参数
#define VIDEO1_IN_HSIZE 640*4
#define VIDEO1_IN_STRIDE 1280*4
#define VIDEO1_IN_VSIZE 480
#define VIDEO1_OFFSET (640+1280*240)*4
#define CAM0_AXI_VDMA_ID XPAR_CAM0_AXI_VDMA_1_DEVICE_ID
#define CAM1_AXI_VDMA_ID XPAR_CAM1_AXI_VDMA_1_DEVICE_ID
#define CAM0_AXI_VDMA_INTR XPAR_FABRIC_CAM0_AXI_VDMA_1_S2MM_INTROUT_INTR
#define CAM1_AXI_VDMA_INTR XPAR_FABRIC_CAM1_AXI_VDMA_1_S2MM_INTROUT_INTR
u8 *CAM0_DBUF[IMG_SIZE];
u8 *CAM1_DBUF[IMG_SIZE];
u8 *VIDEOOUT_DBUF[IMG_SIZE];
XGpio rstn_5640;
XGpio sscb_cam0;
XGpio sscb_cam1;
extern XScuGic Intc;
extern Run_Config RunCfg;
extern XAxiVdma video0_in,video1_in;
extern XAxiVdma_DmaSetup video0_in_WriteCfg,video1_in_WriteCfg;
extern XHDMIDma HDMIDma;
extern XHDMIPsu HDMIPsu;
extern volatile int rfram_cnt;
extern volatile int rfram_error;
extern volatile int wframe1_cnt;
extern volatile int wframe1_error;
extern volatile int wfram1_grap_done;
extern volatile int grap_button;
extern volatile int delay_frame;
void init_intr_sys(void)
{
Init_Intr_System(&Intc);//initialize global interrupt source
Video1_in_SetupIntrSystem(&Intc,&video0_in,CAM0_AXI_VDMA_INTR);
Video2_in_SetupIntrSystem(&Intc,&video1_in,CAM1_AXI_VDMA_INTR);
XAxiVdma_IntrEnable(&video0_in, XAXIVDMA_IXR_ALL_MASK, XAXIVDMA_WRITE);//enable vdma s2mm channel interrupt
XAxiVdma_IntrEnable(&video1_in, XAXIVDMA_IXR_ALL_MASK, XAXIVDMA_WRITE);//enable vdma s2mm channel interrupt
HDMIdma_init(&RunCfg ,&Intc);//setup HDMI channel
HDMIdma_Setup_Intr_System(&RunCfg);//enable HDMI channel
Setup_Intr_Exception(&Intc);//enable global interrupt source
}
int main()
{
Xil_DCacheDisable();
Xil_ICacheDisable();
video_buffer_init(CAM0_DBUF[0]);
//设置摄像头0的三个缓存地址
CAM0_DBUF[0] = (u8*)BUF1_ADDR;
CAM0_DBUF[1] = (u8*)BUF2_ADDR;
CAM0_DBUF[2] = (u8*)BUF3_ADDR;
CAM1_DBUF[0] = (u8*)(BUF1_ADDR + VIDEO1_OFFSET);
CAM1_DBUF[1] = (u8*)(BUF2_ADDR + VIDEO1_OFFSET);
CAM1_DBUF[2] = (u8*)(BUF3_ADDR + VIDEO1_OFFSET);
//设置摄像头1的三个缓存地址
VIDEOOUT_DBUF[0] = (u8*)BUF1_ADDR;
VIDEOOUT_DBUF[1] = (u8*)BUF2_ADDR;
VIDEOOUT_DBUF[2] = (u8*)BUF3_ADDR;
//通过memset函数设置缓存初值
memset(VIDEOOUT_DBUF[0], 0x00, IMG_SIZE);
memset(VIDEOOUT_DBUF[1], 0x00, IMG_SIZE);
memset(VIDEOOUT_DBUF[2], 0x00, IMG_SIZE);
//通过Xil_DcacheFlushRang确保把cache中初始化数据都刷入到DDR中
Xil_DCacheFlushRange((INTPTR)VIDEOOUT_DBUF[0], IMG_SIZE);
Xil_DCacheFlushRange((INTPTR)VIDEOOUT_DBUF[1], IMG_SIZE);
Xil_DCacheFlushRange((INTPTR)VIDEOOUT_DBUF[2], IMG_SIZE);
//初始化AXI-GPIO 并且复位摄像头
XGpio_Initialize(&rstn_5640, XPAR_GPIO_RSTN_DEVICE_ID);
XGpio_SetDataDirection(&rstn_5640, 1, 0x0);
XGpio_DiscreteWrite(&rstn_5640, 1, 0x0);
//初始化用于sccb的AXI-GPIO
sccb_gpio_init(&sscb_cam0,XPAR_CAM0_GPIO_SCCB_DEVICE_ID);
sccb_gpio_init(&sscb_cam1,XPAR_CAM1_GPIO_SCCB_DEVICE_ID);
//通过sccb分别对摄像头0和摄像头1进行初始化
ov5640_init(sscb_cam0,640,480,0x46,0x07);
ov5640_init(sscb_cam1,640,480,0x40,0x01);
//设置摄像头0的VDMA的视频缓存地址
video0_in_WriteCfg.FrameStoreStartAddr[0] = (UINTPTR)CAM0_DBUF[0];
video0_in_WriteCfg.FrameStoreStartAddr[1] = (UINTPTR)CAM0_DBUF[1];
video0_in_WriteCfg.FrameStoreStartAddr[2] = (UINTPTR)CAM0_DBUF[2];
//设置摄像头1的VDMA的视频缓存地址
video1_in_WriteCfg.FrameStoreStartAddr[0] = (UINTPTR)CAM1_DBUF[0];
video1_in_WriteCfg.FrameStoreStartAddr[1] = (UINTPTR)CAM1_DBUF[1];
video1_in_WriteCfg.FrameStoreStartAddr[2] = (UINTPTR)CAM1_DBUF[2];
//完成复位
XGpio_DiscreteWrite(&rstn_5640, 1, 0x1);
//初始化并且设置摄像头0的VDMA
Video1_S2MMSetup(CAM0_AXI_VDMA_ID, &video0_in, video0_in_WriteCfg , 480 , 640*4 , 1280*4);
//初始化并且设置摄像头1的VDMA
Video2_S2MMSetup(CAM1_AXI_VDMA_ID, &video1_in, video1_in_WriteCfg , 480 , 640*4 , 1280*4);
XAxiVdma_DmaStart(&video0_in, XAXIVDMA_WRITE); //启动摄像头0的VDMA传输方向为PL到PS
XAxiVdma_DmaStart(&video1_in, XAXIVDMA_WRITE); //启动摄像头1的VDMA传输方向为PL到PS
while(1)
{
if(wfram1_grap_done == 1)//park模式手动控制中断,等待中断产生 {
video_buffer_update((u8*)CAM0_DBUF[(wframe1_cnt+1)%3],&RunCfg);
wfram1_grap_done =0;//清除中断
}
} return XST_SUCCESS;
} 复制代码
1:地址空间的分配
#define BUF_BASE_SIZE 0x08000000
#define BUF_RANG_SIZE 0x800000
#define BUF1_ADDR BUF_BASE_SIZE + BUF_RANG_SIZE*0
#define BUF2_ADDR BUF_BASE_SIZE + BUF_RANG_SIZE*1
#define BUF3_ADDR BUF_BASE_SIZE + BUF_RANG_SIZE*2
#define VIDEO1_OFFSET (640+1280*240)*4 复制代码
为了保存2路视频图像,我们需要为2路视频图像分别设置2个缓存地址空间,同时未来能让2个图像显示在一个屏幕上,我们还需要对2路图像缓存地址做合理分配,其中Stride值在这里就大大有用了。
地址为0x08000000=128MB,每个缓存的空间大小为0x800000=8MB
2 :多路视频同屏显示原理
为了把2个图像显示到1个显示器,首先得搞清楚以下关系:
hsize:每1行图像实际在内存中占用的有效空间,以32bit表示一个像素的时候占用内存大小为hsize*4
hstride:用于设置每行图像第一个像素的地址,以32bit 表示一个像素的时候h_cnt* hstride*4
vsize:有效的行
因此很容易得出cam0的每行第一个像素的地址也是h_cnt* hstride*4
同理如果我们需要把cam1在hsize和vsize空间的任何位置显示,我们只要关心cam1每一行图像第一个像素的地址,可以用以下公式h_cnt* hstride*4+offset
比如我们这里背景输出到显示器的分辨率为1280*720,cam1的分辨率是640*480需要移动上图的右下脚,以下是对2路视频通路的地址设置和1路背景输出的地址设置:
CAM0_DBUF[0] = (u8*)BUF1_ADDR;
CAM0_DBUF[1] = (u8*)BUF2_ADDR;
CAM0_DBUF[2] = (u8*)BUF3_ADDR;
CAM1_DBUF[0] = (u8*)(BUF1_ADDR + VIDEO1_OFFSET);
CAM1_DBUF[1] = (u8*)(BUF2_ADDR + VIDEO1_OFFSET);
CAM1_DBUF[2] = (u8*)(BUF3_ADDR + VIDEO1_OFFSET);
VIDEOOUT_DBUF[0] = (u8*)BUF1_ADDR;
VIDEOOUT_DBUF[1] = (u8*)BUF2_ADDR;
VIDEOOUT_DBUF[2] = (u8*)BUF3_ADDR; 复制代码
6.2 VDMA寄存器的参数配置 因为接收端为PD接口,并不使用VDMA,所以并不能使用circle模式自行控制中断,为了确保视频图像输出的不撕裂,使用Park模式:
CAM0为video1通道,是主模式
CAM1为video1通道,是从模式,CAM0和CAM2的帧缓存设置一致,但是实际上由于CAM0,CAM1,并不是同步相机,CAM1所以可能存在1帧的延迟。
VideoOut 通道,是从模式,和 CAM0 通道同步,由于 CAM1 可能延迟 1 帧于 CAM0,所以如果设置延迟 1 帧,可能和 正在写入的 CAM1 通道内存重叠,导致 CAM1 图像撕裂,因此最佳设置是延迟 2 帧。
6.3:OV5640的镜像参数 本文中的摄像头模块采用了最新的FEP-CEPX3-CARD模块,该模块2个摄像头是对称放置,为了让2个图像都是同一方向,需要把其中的一路图像设置镜像
ov5640_init(sscb_cam0,640,480,0x46,0x07);
ov5640_init(sscb_cam1,640,480,0x40,0x01); 复制代码
我们可以简单了解下OV5640和镜像相关的2个寄存器:
以看出来,只是两个寄存器:0x3820控制上下翻转,0x3821控制左右翻转。
7双目采集方案演示 本实验需要用到 JTAG 下载器、USB 转串口外设,另外需要把核心板上的 2 P 模式开关 设置到 JTAG 模式,即 ON ON (注意新版本的 MLK-H3-CZ08-7100FC(米联客 7X 系列),支持 JTAG 模式,对于老版本的核心板,JTAG 调试 的时候一定要拔掉 TF 卡,并且设置模式开关为 OFF OFF)
7.1硬件准备 需要注意这里的 MLK-H3-CZ08-7100FC,扩展卡默认使用 1.8V IO 配的也是 1.8V 的子卡和摄像头(下图中TF 卡本实 验没有用到)
7.2实验结果
本方案路径下也提供了开发板自带的 CEP 接口摄像头采集的 demo