《多视角深度相机的猪体三维点云重构及体尺测量》阅读笔记

一、信息

尹 令,蔡更元,田绪红,孙爱东,石 帅,钟浩杰,梁世豪.多视角深度相机的猪体三维点云重构及体尺测量[J]. 农业工程学报,2019,35(23):201-208.

Yin Ling, Cai Gengyuan, Tian Xuhong, Sun Aidong, Shi Shuai, Zhong Haojie, Liang Shihao. Three dimensional point cloud reconstruction and body size measurement of pigs based on multi-view depth camera[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 201-208. (in Chinese with English abstract)

doi: 10.11975/j.issn.1002-6819.2019.23.025

http://www.tcsae.org


二、对比

1.测量方法:

人工皮尺测量:容易造成牲畜驱赶应激、人工测量准确性差、测定效率低、复杂性状难以度量等问题

人工智能无应激识别系统和体况自动评价系统:有效解决传统测量方法的效率、精度和动物福利问题

2.参数采集:

热成像技术:能较清晰捕获动物表面轮廓信息,但热成像设备昂贵,且需从视频流中手动分离相应数据帧,无法实现完全自动化

图像处理技术:参数大多以像素为单位,当相机参数或物距发生改变时,模型可能不再适用,因此通用性差。另外获取图像时天气、拍摄角度、光照条件影响比较大

单视角:采集简单不需要融合配准,但只能获取体长、体宽、体高等体尺数据,腹围等体尺无法估测。

多视角:获取牲畜各部分深度图像进行各部分点云配准融合、非刚体三维模型点云匹配、体表轮廓描述、家畜体测量交互式软件设计等关键技术都有研究报道。


三、难点

当扫描较大面积物体时数据精度丢失严重,同时扫描活体动物时如时间较长容易出现非刚性形变。牲畜全局三维点云重构时,处理数据量大对存储和计算能力要求很高,实时处理是难点。

解决方案

在测量通道上固定 3 个 KinectV2 相机,通道只能有一头猪单独通过,猪进入相机最佳拍摄位置时,3个深度相机瞬间同步抓取局部点云。采用基于轮廓连贯性点云配准融合全局点云,提取猪体长、体高、体宽、腹围等体尺特征实现对猪的非接触式体尺自动测量。该方法对通道预先设定最佳拍摄位置减少扫描范围,提高数据精度;多视角深度相机同步瞬间抓取减少活体动物运动时非刚性形变;提出各种体尺测量方法,尤其测量腹围时极坐标转换法一方面可以弥补由栏杆遮挡和相机视角未覆盖缺失的点云,另一方面对局部点云相交处轮廓精细配准;并且 KinectV2 为消费级深度设备成本低廉,易于实现产业化。


四、方法

1.同时获取瞬间局部点云

2.采用基于距离查询区域增长方法滤除掉远离群点

3.对近离群点的消除采用 SVLOF 算法

4.粗配准:多个深度摄像设备标定中得到相邻子区域的空间变换矩阵和平移向量变换到同一坐标系下

5.精细配准:配准融合问题就变成一个多目标优化问题,使得顶点融合度和邻层轮廓覆盖率都最小化

6.最小二乘法拟合中轴平面,确定起始和终止点,微分求体长


五、总结

1.采用 3 个方 向深度相机完成猪体三维重构,与猪体长、体高、胸宽、腹围自动测算试验,其测量数据与实测数据相对误差分析表明本文提出的猪体三维重构和多体尺检测算法稳定、效果较好。

2.一方面是猪动态行走时姿态不固定,有扭转、拱背、低头等多种形态动作,影响测量准确性,另外人工在猪动态环境下测量准确率也降低。

3.腹围等 3 围度的测量需要依赖三维点云拼接融合效果,今后需要进一步研究三维点云拼接融合和空缺部分的填补算法。


六、参考文献

1.Halachmi I, Klopčič M, Polak P, et al. Automatic assessment of dairy cattle body condition score using thermal imaging[J]. Computers & Electronics in Agriculture, 2013, 99(6): 35- 40.

2.Azzaro G, Caccamo M, Ferguson J D, et al. Objective estimation of body condition score by modeling cow body shape from digital images[J]. Journal of Dairy Science, 2011, 94(4): 2126-2137.

3.Tedin R , Becerra J A , Duro R J , et al. Computational intelligence based construction of a body condition assessment system for cattle[C]// Computational Intelligence and Virtual Environments for Measurement Systems and Applications (CIVEMSA), 2013 IEEE International Conference on. IEEE, 2013.

4.Bercovich A, Edan Y, Alchanatis V, et al. Development of an automatic cow body condition scoring using body shape signature and Fourier descriptors.[J]. Journal of Dairy Science, 2013, 96(12): 8047-8059.

5.Kashiha M A, Bahr C, Ott S, et al. Automatic monitoring of pig locomotion using image analysis[J]. Livestock Science, 2014, 159(1): 141-148.

6.Vieira A, Brand, O S, Monteiro A, et al. Development and validation of a visual body condition scoring system for dairy goats with picture-based training[J]. Journal of Dairy Science, 2015, 98(9): 6597-608.

7.陈菁菁,彭彦昆. 基于机器视觉技术的生猪活体监测系统[J]. 食品安全质量检测学报,2012,3(6):600-602.

8.刘建飞. 图像识别技术在奶牛体况评分中的应用研究[D]. 济南:山东大学,2012.

9.吴复争,姜威,张美杰. 核-主成分分析在奶牛体况自动评 分中的应用[J]. 光学技术,2013,39(3):222-227.

10.刘同海,滕光辉,付为森,等. 基于机器视觉的猪体体尺 测点提取算法与应用[J]. 农业工程学报,2013,29(2): 161-168.

11.Menesatti P, Costa C, Antonucci F, et al. A low-cost stereovision system to estimate size and weight of live sheep[J]. Computers & Electronics in Agriculture, 2014, 103(2): 33-38.

12.Salau J, Haas J H, Junge W, et al. Feasibility of automated body trait determination using the SR4K time-of-flight camera in cow barns[J]. Springer Plus, 2014, 3(1): 225.

13.Weber A, Salau J, Haas J H, et al. Estimation of backfat thickness using extracted traits from an automatic 3D optical system in lactating Holstein-Friesian cows[J]. Livestock Science, 2014, 165(1): 129-137.

14.Kuzuhara Y, Kawamura K, Yoshitoshi R, et al. A preliminarily study for predicting body weight and milk properties in lactating Holstein cows using a threedimensional camera system[J]. Computers & Electronics in Agriculture, 2015, 111: 186-193.

15.Fischer A, Luginbühl T, Delattre L, et al. Rear shape in 3 dimensions summarized by principal component analysis is a good predictor of body condition score in Holstein dairy cows[J]. Journal of Dairy Science, 2015, 98(7): 4465-4476.

16.Pezzuolo A, Guarino M, Sartori L, et al. On-barn pig weight estimation based on body measurements by a Kinect v1 depth camera[J]. Computers & Electronics in Agriculture, 2018, 148: 29-36.

17.付为森,滕光辉. 基于双目视觉技术的猪生长监测系统标 定模式[J]. 农业机械学报,2009,40(S1):223-227.

18.李卓,毛涛涛,刘同海,等. 基于机器视觉的猪体质量估 测模型比较与优化[J]. 农业工程学报,2015,31(2):155- 161.

19.Salau J, Haas J H, Junge W, et al. Extrinsic calibration of a multi-Kinect camera scanning passage for measuring functional traits in dairy cows[J]. Biosystems Engineering, 2016, 151: 409-424.

20.王龙. 机器视觉在奶牛体况评定中的应用[D]. 上海:东华 大学,2014.

21.张温. 基于机器视觉的牲畜体征测量系统的研究[D]. 包 头:内蒙古科技大学,2014.

22.郭浩. 动物体表三维数据获取与处理算法研究[D]. 北京: 中国农业大学,2015.

23.李卓,毛涛涛,刘同海,等. 基于机器视觉的猪体质量估 测模型比较与优化[J]. 农业工程学报,2015,31(2):155- 161.

24.司永胜,安露露,刘刚,等. 基于 Kinect 相机的猪体理想 姿态检测与体尺测量[J]. 农业机械学报,2019,50(1):58- 65.

25.王可,郭浩,刘威林,等. 基于点云旋转归一化的猪体体 尺测点提取方法[J]. 农业工程学报,2017,33(增刊 1): 253-259.

26.Guo H, Ma X, Ma Q, et al. LSSA_CAU:An interactive 3d point clouds analysis software for body measurement of livestock with similar forms of cows or pigs[J]. Computers & Electronics in Agriculture, 2017, 138: 60-68.

27.聂建辉,胡英,马孜. 散乱点云离群点的分类识别算法[J]. 计算机辅助设计与图形学学报,2011,23(9):1526-1532.