欢迎您访问《智慧农业(中英文)》官方网站! English

母牛发情精准感知与智能鉴定技术研究进展、问题与挑战

  • 张志勇 1, 2 ,
  • 曹姗姗 2 ,
  • 孔繁涛 3 ,
  • 刘继芳 2 ,
  • 孙伟 , 2
展开
  • 1. 新疆农业大学 计算机与信息工程学院,新疆 乌鲁木齐 830052,中国
  • 2. 中国农业科学院 农业信息研究所,北京 100081,中国
  • 3. 中国农业科学院 农业经济与发展研究所,北京 100081,中国
孙 伟,博士,研究员,研究方向为时空信息分析、智慧畜牧。E-mail:

张志勇,研究方向为精准畜牧与智慧养殖,E-mail:

ZHANG Zhiyong, E-mail:

收稿日期: 2024-05-13

  网络出版日期: 2025-01-08

基金资助

吉林省重点研发项目(20240303079NC)

Advances, Problems and Challenges of Precise Estrus Perception and Intelligent Identification Technology for Cows

  • ZHANG Zhiyong 1, 2 ,
  • CAO Shanshan 2 ,
  • KONG Fantao 3 ,
  • LIU Jifang 2 ,
  • SUN Wei , 2
Expand
  • 1. Computer and Information Engineering Institute, Xinjiang Agricultural University, Urumqi 830052, China
  • 2. Agricultural Information Institute, Chinese Academy of Agricultural Sciences, Beijing 100081, China
  • 3. Institute of Agricultural Economics and Development, Chinese Academy of Agricultural Sciences, Beijing 100081, China
SUN Wei, E-mail:

Received date: 2024-05-13

  Online published: 2025-01-08

Supported by

Key Research and Development Projects of Jilin Province(20240303079NC)

Copyright

copyright©2025 by the authors

摘要

【目的/意义】 母牛发情监测与鉴定是牧场养殖繁育管理的重要内容,直接决定了牛群发情率等繁殖力指标统计的客观性与可靠性,对持续改进饲养管理方法、提升牛场管理水平、提高牛群数量和质量等工作至关重要。文章旨在为肉牛/奶牛养殖业的科学管理和现代化生产新技术研究提供参考,亦为中国精准畜牧智慧养殖关键技术研发提供理论方法借鉴。 【进展】 在阐述母牛正常发情与异常发情典型特征的基础上,以发情期生理体征和行为特征关键参数监测与诊断为主线,从基于单因子信息处理和多因子信息融合的技术方法视角,系统性分类总结了物联网、大数据和人工智能等新一代信息技术驱动下的母牛发情监测与鉴定技术的研究进展、发展脉络和方法路径。 【结论/展望】 从系统实用性、稳定性和环境适应性,以及设备成本效益、操作简便性等综合多方面因素的角度,探讨了数字畜牧业高质量发展背景下进一步深化研究母牛发情精准感知与智能鉴定技术亟待解决的若干关键问题,包括提高弱发情条件下监测精准性、突破复杂背景噪声中的音频提取与声纹构建技术难题、提升计算机视觉监测技术的适应能力,以及构建多模态信息融合的综合监测鉴定模型等问题,并针对性论述了上述系列问题对当前技术研究带来的诸多挑战。

本文引用格式

张志勇 , 曹姗姗 , 孔繁涛 , 刘继芳 , 孙伟 . 母牛发情精准感知与智能鉴定技术研究进展、问题与挑战[J]. 智慧农业, 2025 : 1 -22 . DOI: 10.12133/j.smartag.SA202305005

Abstract

[Significance] Estrus monitoring and identification in cows is a crucial aspect of breeding management in beef and dairy cattle farming. Innovations in precise sensing and intelligent identification methods and technologies for estrus in cows are essential not only for scientific breeding, precise management, and smart breeding on a population level but also play a key supportive role in health management, productivity enhancement, and animal welfare improvement at the individual level. The aims are to provide a reference for scientific management and the study of modern production technologies in the beef and dairy cattle industry, as well as theoretical methodologies for the research and development of key technologies in precision livestock farming in China. [Progress] Based on describing the typical characteristics of normal and abnormal estrus in cows, this paper systematically categorizes and summarizes the recent research progress, development trends, and methodological approaches in estrus monitoring and identification technologies, focusing on the monitoring and diagnosis of key physiological signs and behavioral characteristics during the estrus period. Firstly, it outlines the digital monitoring technologies for three critical physiological parameters—body temperature, rumination, and activity levels—and their applications in cow estrus monitoring and identification. It analyzes the intrinsic reasons for performance bottlenecks in estrus monitoring models based on body temperature, compares the reliability issues faced by activity-based estrus monitoring, and addresses the difficulties in balancing model generalization and robustness design. Secondly, it examines the estrus sensing and identification technologies based on three typical behaviors: feeding, vocalization, and sexual desire. It highlights the latest applications of new artificial intelligence technologies, such as computer vision and deep learning, in estrus monitoring and points out the critical role of these technologies in improving the accuracy and timeliness of monitoring. Finally, it focuses on multi-factor fusion technologies for estrus perception and identification, summarizing how different researchers combine various physiological and behavioral parameters using diverse monitoring devices and algorithms to enhance accuracy in estrus monitoring. It emphasizes that multi-factor fusion methods can improve detection rates and the precision of identification results, being more reliable and applicable than single-factor methods. The importance and potential of multi-modal information fusion in enhancing monitoring accuracy and adaptability are underlined. The current shortcomings of multi-factor information fusion methods are analyzed, such as the potential impact on animal welfare from parameter acquisition methods, the singularity of model algorithms used for representing multi-factor information fusion, and inadequacies in research on multi-factor feature extraction models and estrus identification decision algorithms. [Conclusions and Prospects] From the perspectives of system practicality, stability, environmental adaptability, cost-effectiveness, and ease of operation, several key issues are discussed that need to be addressed in the further research of precise sensing and intelligent identification technologies for cow estrus within the context of high-quality development in digital livestock farming. These include improving monitoring accuracy under weak estrus conditions, overcoming technical challenges of audio extraction and voiceprint construction amidst complex background noise, enhancing the adaptability of computer vision monitoring technologies, and establishing comprehensive monitoring and identification models through multi-modal information fusion. It specifically discusses the numerous challenges posed by these issues to current technological research and explains that future research needs to focus not only on improving the timeliness and accuracy of monitoring technologies but also on balancing system cost-effectiveness and ease of use to achieve a transition from the concept of smart farming to its practical implementation.

0 引 言

在肉牛或奶牛养殖生产、育种过程中,母牛发情监测与鉴定工作是提升牛群生产繁育能力、提高育种效率、缩短育种周期的首要环节和第一要素。首先,母牛发情状态的精准监测与科学鉴定是牛群各项繁殖力指标数据获取的关键基础,不仅直接决定牛群发情检出率的准确性,而且关乎牛群参配率、受胎率、配种指数、产犊间隔等繁殖力指标统计的客观性与可靠性,对改进肉牛或奶牛饲养管理方法、提升牛场管理水平、优化智慧育种策略等均具有重要实践指导价值1。其次,从母牛健康管理及其个体生产力的角度,母牛发情状态的精准感知与智能鉴定不仅有利于对影响母牛发情的健康问题(如子宫炎症、激素紊乱和生理缺陷等)进行早发现、早干预与早治疗,提高母牛健康管理水平,而且有助于母牛发情阶段的精准判别,掌握人工授精的最佳时机,实现适期配种、适时受孕,从而缩短产犊间隔,提高繁殖效率,避免因发情监测不及时或鉴定不准确而导致的漏配与误配等问题2, 3。因此,不论是从畜群科学繁育、精准管理和智慧育种的种群角度,还是从牛只健康管理、生产力提升和改善动物福利的个体角度,创新研究母牛发情精准感知与智能鉴定方法与技术,提高发情监测与鉴定结果的精准性和时效性,具有关键基础性作用,是保障牛只养殖经济效益的重要途径和促进肉/奶牛养殖产业健康可持续发展的关键基础。
近年来,随着畜牧养殖产业的快速发展,母牛繁殖力逐年下降的趋势却愈发显著4,特别是当面临复杂环境下发情体症与行为特征弱化,以及隐性发情与假发情等异常发情所产生的假阴性与假阳性问题时5, 6,现有发情监测与鉴定技术手段不仅检测难度显著增加,而且检测结果精准度与可靠性也显著下降。随着移动通信、物联网、人工智能等新一代信息技术在畜牧养殖产业中的深度融合应用,新兴技术的涌现为实现母牛发情的及时、准确地监测与鉴定提供了新思路和新途径7-9。探索母牛发情监测与鉴定的关键技术,研究如何进一步提高母牛发情监测与鉴定方法的准确性、及时性、实用性与适应性,降低人力成本,克服人为主观经验的限制,已成为畜牧养殖产业高质量发展亟需突破的核心难题之一。
目前,母牛发情精准感知与智能鉴定技术研究已成为智慧畜牧领域的研究热点。Mottram3围绕奶牛发情监测与鉴定问题,分别从奶牛爬跨行为识别、活动量监测、发情探测项圈、多因子变量监测与鉴定、孕酮浓度在线测定生物传感器等角度,述评分析了该领域的新兴技术思路及其成果。Reith和Hoy2较为全面地归纳了发情状态下奶牛生理体征与行为等方面的特征变化,而且从爬跨行为识别、活动量监测、视频影像记录监测、哞叫行为及其声学特征、体温监测、牛奶孕酮浓度监测和多因子变量监测与鉴定等分类角度进行了系统综述。Mičiaková等10不仅对传统奶牛发情鉴定方法,如人工视觉观察法、尾部涂蜡法、孕酮浓度检测、超声影像诊断和试情法等,同时亦对活动量监测、爬跨行为识别、采食行为与反刍时间监测等数字化监测与鉴定技术进行了简要梳理。总体上,国外综述性文献虽然能够对领域内主要技术发展过程、重要研究成果等进行逻辑清晰、系统而全面的述评总结与讨论,但其所综述的文献研究成果多集中于十多年之前,时效性较差,未能包含近年来快速发展的计算机视觉、深度学习等人工智能新技术研究在母牛发情监测与鉴定问题上所取得的最新进展与成果。相较而言,宗哲英等11从人工监测与数字化监测的分类角度,对奶牛发情监测常见方法进行了总结与归纳。王祯等12针对奶牛发情数字化检测方法从运动量、爬跨行为、温度、阴道体征,以及多种发情行为综合监测的角度对奶牛发情数字化检测方法进行了较为详细的分类梳理。郭冠华等13系统地综述了使用躯体不同部位(颈部、耳部、腿部和尾部)活动量表征奶牛发情的相关研究成果。国内在母牛发情精准感知与智能鉴定方面的综述性研究在文献梳理与总结时其系统性、全面性与逻辑性较为欠缺,且多以国内该领域主要研究成果的简单归纳陈述性总结为主,不仅缺乏对相关技术领域发展脉络、趋势与前沿梳理与分析,而且对技术发展所要面临的突出问题与主要挑战的分析与把握不足。
为系统性厘清当前精准畜牧智慧养殖背景下以信息化、自动化、智能化方法为驱动的母牛发情精准感知与智能鉴定技术研究进展、发展趋势,本文总结归纳了目前数字化发情监测与鉴定技术研究现状与重要研究成果,分析梳理相关技术发展脉络与路径,探讨未来发展趋势和可能会面临的主要技术问题与挑战。本文具体脉络如图1所示,旨在为中国肉牛/奶牛养殖业的科学管理和现代化生产技术研究提供新方法和新思路,亦为中国精准畜牧智慧养殖关键技术研发提供理论方法借鉴。
图1 母牛发情数智化监测与鉴定技术研究脉络梳理路径图

Fig. 1 Research contextualization path diagram for intelligent monitoring and identification technology of cow estrus

1 母牛发情的典型特征与监测鉴定方法

1.1 母牛发情现象与特征分析

母牛发情是育龄母牛在体内性腺激素的刺激下而出现的一种正常周期性生殖生理现象,其表达机制不仅受自身健康状况、胎次,遗传因素及品种差异等内因影响,亦受饲喂营养条件、养殖环境、饲养密度和季节等外因影响,是各种内因与外界共同作用、综合调节的结果2, 12-14
随着畜牧养殖业规模化、集约化快速发展,养殖环境与条件日趋完善,饲喂与管理愈加规范科学,在客观上基本奠定了育龄母牛健康状况监测及正常发情诊断的外因条件基础。然而,在畜牧养殖规模化追求高效生产利益的驱使下,由遗传选育、同期发情等现代繁殖技术所导致的发情症状不明显等发情行为弱化现象2及异常发情率逐渐攀升等负面问题亦日益显现,对现有发情监测与鉴定技术体系提出了严峻挑战。

1.1.1 正常发情

通常情况下,健康母牛完整的发情周期由间情期、发情前期、发情期和发情后期四个阶段组成。间情期也称休情期,是指母牛在前一次发情结束后所进入的生理状态静止期,此期间母牛无任何生理性欲。发情前期则是母牛准备发情的阶段,此时其并没有生理体征与行为模式方面的显著的变化。在经历短暂发情准备之后,母牛则逐渐进入发情状态,即进入发情期,此阶段依据其性欲表现能力和外部特征的变化情况,又分为发情初期、发情盛期和发情晚期。当母牛处于发情初期时,从生理体征变化的角度,主要体现为体温升高15-17、反刍次数与反刍时间减少18, 19,躯体活动量显著增加等20-23。从行为模式变化的角度,发情母牛在采食24, 25、哞叫26-28和性欲活动29-31等方面亦会表现出“特定模式”的变化,如食欲减退,采食量与饮水量均呈现一定程度的减少,同时伴有较为频繁的哞叫行为;当母牛进入发情盛期时,其运动量将会出现显著的增加,同时性欲活动行为变化将成为最为典型的行为模式变化特征31,主要包括相互舔舐、摩擦,或者将颌部放置于其他母牛背部的亲昵行为,或者嗅闻其他母牛的阴户,亦或者站立准备爬跨或爬跨其他母牛,接受爬跨并站立不动;发情晚期则是母牛发情表现由盛转衰进入相对平静的发情时期,发情症状明显减弱,此阶段是人工授精配种的最佳时机。而发情后期,母牛已变得安静,外表也没有发情性欲表现,其生理体征和行为模式等基本逐渐恢复至正常状态。

1.1.2 异常发情

异常发情通常因母牛机体内分泌失调导致,主要包括隐性(安静)发情、假发情、持续发情等情形。其中,隐性发情5是指母牛具有正常的卵泡发育与排卵过程变化,但却未出现爬跨、活动量显著增加等典型行为特征,发情时间较短,且不易察觉,很容易产生漏配;假发情6则表现为已配种受孕的妊娠母牛又出现性欲表现,如接受其他牛爬跨等情况,或者表现出较为明显的发情行为特征等,同时却因卵巢机能不全或子宫内膜炎症等情况导致无卵泡发育及排卵过程,前者容易产生误配,导致流产,后者容易造成屡配不孕,增加生产管理成本;持续发情6主要是由卵巢囊肿等刺激致使雌激素分泌过多造成母牛发情过程相较于正常情况显著增加的现象。由此可见,做好母牛发情检测与鉴定,亦有利于母牛生殖系统疾病的早期发现与诊治。无论是隐性发情、假发情,还是持续发情,由此而产生的假阴性与假阳性问题均对实际发情监测与鉴定工作提出了更高的要求。

1.2 母牛发情监测与鉴定方法的分类

近年来,受益于物联网、计算机视觉、深度学习等新一代技术与畜牧产业技术的创新融合,精准畜牧研究与实践取得显著进展。从技术发展脉络与研究路径来看,当前基于数字化技术手段的母牛发情监测与鉴定方法的研究主要分为两个方向:基于单因子信息处理的研究和融合多因子信息的研究(见图2)。
图2 数字化发情监测与鉴定技术发展脉络与路径

Fig. 2 Development and path of digital estrus monitoring and identification technology

在基于单因子信息处理的相关研究中,通常针对发情母牛生理体征(如体温、反刍时间、活动水平)或行为模式特征(如哞叫、采食、爬跨行为)中的某一类典型发情表征因子进行“深挖”运用,通过分析其在母牛发情生理过程中的变化规律,建模表征决策因子与母牛发情之间的映射表达机制关系,进而达到准确监测与科学鉴定母牛发情的目的32-34。具体而言,依据其表征决策因子的不同,相关研究思路又可分为两类:一类侧重于生理体征的变化,另一类则关注行为模式特征的改变。
相较而言,融合多因子信息的研究则在基于单因子信息处理相关研究理论的基础上,着重关注母牛发情生理过程中多类表征因子的融合运用,即将母牛发情状态及行为映射调控的多个变量因素进行综合考虑。从多因子组合原则的角度,首先,基于多因子信息融合的发情监测与鉴定强调表征因子的互补性与冗余性,确保所选因子在反映奶牛发情生理及行为特征上既相互补充又互为冗余,以全面且可靠地捕捉发情状态的多样性;其次,该方法还注重因子的相关性分析,确保所融合的因子与奶牛发情状态之间存在显著且直接的联系,为模型构建提供坚实的生物学基础;再者,方法本身兼顾因子的可行性考量,包括采集成本、操作简便性,以及对奶牛福利的影响,确保研究方法的实践可行性和广泛适用性;同时,强调时效性,确保所融合的因子信息能够及时且准确地反映奶牛发情状态的动态变化。综合以上原则,再通过特征提取、优选与融合操作,构建稳健的、消除歧义和不确定性的复合模态表征,以提高模型适应性、决策性与鲁棒性21, 35, 36

2 单因子驱动的发情感知与鉴定

2.1 基于生理体征的发情感知与鉴定

当母牛处于发情状态时,其生理体征相较于间情期会出现较为显著的变化,比如体温升高、食欲减退、反刍次数减少,活动量显著增加等。基于生理体征变化的发情监测与鉴定即是通过对上述生理状态及外部体征信息的变化规律37进行观测、分析与研究,利用数据挖掘、知识发现等方法为发情鉴定提供感知决策依据,是实现奶牛发情监测与鉴定的重要手段之一。

2.1.1 体温

从体温的角度实现发情监测与鉴定,主要是基于牛作为高等恒温动物这一特性。牛拥有完善的体温调节机制,在正常情况下,其体核温度(动物机体内部器官或深部组织的热量状态)不受外界环境因素影响而保持基本恒定38。然而,当其处于发情状态或生病时,体核温度则会有较为显著的变化。早在20世纪90年代初期,Redden等16和Kyle等17就曾较为系统地阐释了处于发情期不同阶段的母牛相较于间情期其阴道或直肠温度的变化规律,以及其统计特征,并尝试将其应用于母牛发情检测实践中。图3即为Kyle等利用母牛阴道温度作为决策因子预测其发情状态时所获取到的平均每小时阴道温度的变化情况。
图3 母牛发情前后期的平均每小时阴道温度17

Fig. 3 Mean hourly vaginal temperature before and subsequent to estruses predicted using vaginal temperature

当前,从体温监测技术方法角度,主要分为接触式应激监测和非接触式免应激监测两类。其中,接触式监测手段又以侵入式(或植入式)无线监测装置和穿戴式无线监测装置为主,前者测温结果更接近于母牛体核温度,能够更为精准地反映母牛体内核心温度的变化规律,但测量过程相对应激较大,且易导致母牛生殖系统感染,或装置脱落、丢失等情况或问题发生;后者虽然具有操作方便,应激相对较小的优势,但此类方法所测温度多为体表温度,难以准确反映母牛体核温度的变化规律或趋势,在测温准确性上易受环境因素影响等问题。如图4即为一种典型的侵入式监测装置,可用于监测母牛阴道体温等生理体征参数。图5为一种穿戴式体表温度无线监测装置,其可对母牛尾根部腹侧体表温度进行连续监测。
图4 侵入式母牛阴道体温监测探针39

Fig. 4 Invasive bovine vaginal temperature monitoring probe

图5 穿戴式腹侧尾根部体表温度无线监测装置40

Fig. 5 Wearable wireless monitoring device attached on the surface of the ventral tail base

而非接触式监测手段则主要以红外成像测温技术应用为主,其通过使用红外热像仪等成像设备获取母牛特定部位的红外热像图,然后利用算法模型提取相关目标区域或对象的特征温度数据,进而为母牛发情监测与预测提供数据支撑。如图6为使用红外热像仪拍摄的奶牛外阴和头部区域的红外热像图,用于监测提取奶牛外阴部位和鼻部前端的温度特征数据。显然,采用红外热成像等技术实现目标对象的温度监测,在提高动物养殖福利、减少人为活动干扰与影响方面具有非接触免应激等特点。除此之外,该方法还具备操作方便、易维护、数据采集通量大等优势。
图6 红外测温图像41

Fig. 6 Infrared thermometry images

从现有研究成果来看,相关研究主要围绕探索如何构建更为精准、可靠的发情监测与鉴定模型,尝试提高算法模型的灵敏度、特异性与准确性,有效减少假阳性与假阴性的鉴定事件发生等方面展开。代表性研究如Redden等16使用阈值检测法基于奶牛阴道体温变化构建发情检测模型,其发情检出率达到80.95%,显著优于人工视觉观察法;同时,该研究还指出发情前期奶牛阴道体温相较于基准体温是否出现下降可作为发情假阳性的判别指标。Kyle等17以肉牛阴道体温的峰值特征(包括峰值最短持续时间、峰值最小幅度,以及基准体温)为关键因子构建发情阈值检测模型,其灵敏度为89.4%,准确率亦可达85.7%;还发现阴道体温峰值特性中最小幅度特征具备一定的假阳性鉴别能力,合理优化该参数的设置可显著提高模型预测准确率。Miura等42在系统讨论分析了年度不同季节条件下完整发情周期中腹侧尾根部体表温度、发情行为、排卵和激素水平变化之间的关系之后,揭示了基于母牛体表温度残差数据的计算与分析进而实现母牛发情的自动化监测与鉴定目的的技术可行性。Talukder等41使用红外热像仪对奶牛鼻部前端和外阴处进行热成像测温,基于修正的温度观测值运用阈值检测模型对奶牛发情状态与排卵事件进行预测,实验结果表明基于外阴体表温度所建立的阈值检测模型在灵敏度与特异性方面均优于鼻部前端温度模型,且在温升阈值为1 ℃时,模型灵敏度可达92%。Wang等43提出了一种基于奶牛眼睛和外阴的热红外图像的非接触式发情监测方法,其通过监测奶牛眼睛和外阴区域的温度变化,建立逻辑回归和支持向量机发情检测模型,实验结果表明,在最佳分割轮廓下,模型最佳发情检出率为可达82.37%,召回率亦超过86%。
然而,基于母牛体温与其发情行为间的映射表达机制实现母牛发情监测与鉴定虽具有理论可行性,但在相关研究实践中却表现出一定的局限性,如Higaki等40在利用母牛尾巴根部腹侧体表残差温度所构建的算法模型对母牛发情状态进行检测的实验研究中,其灵敏度仅为50.0%~58.8%,准确率最佳为73.1%。Talukder等41提出的基于外阴体表温度的阈值检测模型其特异性却仅为29%,这表明该模型在实际检测应用中假阳性个体较多,对假阳性的鉴别能力表现较差。Wang等43建立的基于奶牛眼睛和外阴的热红外图像发情检测模型识别误差率均高于15%。
对于模型相对较差的性能表现,本文认为主要原因主要有三方面。一是从母牛体温变化到其发情行为之间并不存在“唯一指向性”的高度相关性,致使基于体温变化的发情检测模型假阳性鉴别能力有限,模型整体精准度存在瓶颈。虽然部分研究曾指出发情前期奶牛阴道体温相较于基准体温是否出现下降可作为发情假阳性的判别指标,以及阴道体温峰值特性中最小幅度特征具备一定的假阳性鉴别能力等结论,但亦有研究表明仅使用体核温度构建发情监测与鉴定模型,即使体温监测精准仍然很难准确辨别区分体温变化是否直接由发情行为所引起。未来探索如何建立二者之间的“唯一指向性”,增加假阳性判别能力,提高模型特异性或是研究的重要突破口之一。二是发情周期内体温的变化可能是动态和非线性的,这就要求模型能够捕捉到更细微的变化。基于统计分析的阈值检测、传统浅层机器学习模型可能未充分捕捉、挖掘并提取母牛发情体温变化时空维度上更为细微、复杂的深层次生理“语义”特征,阻碍了模型精准度的提升。探寻能够有效捕捉时间序列数据中的长期依赖关系、周期性模式、趋势以及潜在非线性关系的模型,并将其运用于母牛体温变化的数据挖掘与特征抽取中,以期实现更为精准的发情监测与鉴定效果,或是当下极具实践意义的工作。三是,模型训练所使用的数据集样本空间在时空维度上均较小,缺乏多样化,一定程度上限制了模型的泛化能力。

2.1.2 反刍

反刍是衡量母牛生产状况和饲养福利的重要生理指标,除了可用于对母牛的采食、饲料利用和健康状况等情况进行评估之外,亦可用于母牛发情行为早期检测与辅助鉴定研究。通常,大多数母牛(约85%44)在进入发情状态之前的3天中,其反刍时间伴随发情状态的来临呈逐渐下降趋势,而在发情开始之后的3天中,反刍时间逐渐增加并恢复到正常水平18, 19。从反刍时间动力学曲线的角度来看,这种变化趋势呈现出经典的“V”字形,且在发情初期的当天,母牛反刍持续时间显著低于其他时间(间情期、发情盛期及发情晚期)18, 19,如图7所示。正是基于这一特征,从理论上讲其可以作为构建发情监测与鉴定模型的决策指标之一。
图7 来自五个不同畜群的奶牛在验证发情期前后的反刍时间动态变化曲线19

Fig. 7 Dynamics of rumination time around the verified estrus followed by conception for estrus periods of cows in five herds

目前,国内外学者针对如何挖掘与利用反刍时间实现母牛发情监测与鉴定的问题研究主要围绕两点展开。一是反刍时间变化规律与发情行为关系特征研究。如Reith和Hoy18通过实验研究探讨了奶牛的反刍时间与发情之间的关系,指出奶牛在发情当天,其反刍时间显著减少,从参考期(发情前后各3天的平均水平)的429 min/天降至355 min/天,平均约下降17%。在进一步的实验研究19中,该团队又研究比较了成功受孕与未受孕的奶牛在发情周期内的反刍时间变化,发现反刍时间减少在成功受孕奶牛的发情周期中更为明显。Minegishi等44研究了不同季节(夏季和冬季)和不同饲养管理模式(有机放牧和低投入传统生产)下奶牛反刍时间的变化规律,并建立了基于反刍时间偏差的逻辑回归模型在不同牛群和季节中表现合理,可适应不同管理和环境条件下应用。除此之外,邵大富等45采集获取的奶牛发情数据与反刍行为数据进一步揭示了发情期间奶牛反刍行为变化规律,同时补充阐释了部分奶牛在发情当天反刍时间没有下降的原因,在于反刍时间检测系统数据预处理所致;而发情时活动量显著上升可能是奶牛发情时反刍时间下降的根本原因之一。上述相关研究均较好地支撑论证评估了反刍时间作为发情检测工具的潜力。二是反刍行为模式与反刍时间的影响因素分析及变异性分析研究。如邵大富等45在研究季节、胎次及其互作效应对奶牛反刍行为的影响机制时指出不同季节奶牛发情期间,反刍时间下降无显著性差异;但不同胎次之间奶牛反刍时间下降存在显著性差异,表现为随着胎次的增加,反刍时间下降程度逐渐减弱。Reith和Hoy18亦指出奶牛在发情期间反刍时间的减少在不同个体之间存在高度变异,范围在-71%~16%之间。Schweinzer等46发现与自然发情状态下奶牛不同,经同步诱导发情的奶牛,其反刍时间在发情周期内变化不大,并未出现与自然发情奶牛相似的显著变化。
截至目前,综合现有文献研究成果来看,基于反刍的发情监测与鉴定应用研究还需从反刍时间度量的准确度、误差率、分析敏感性和反刍时间下降时阈值的设定等因素考虑进一步的深入研究。同时,考虑到反刍时间及其降低幅度在个体间、牛场间、品种间的高度变异性18, 19,以及影响母牛反刍行为因素的多因子特性45(如饲养管理方式、应激、疾病、日粮组成、粗饲料质量等因素),如要单纯依赖反刍行为变化特征建立兼具良好精准性、泛化性与鲁棒性的通用发情鉴定算法模型可能仍有一定难度。但考虑到母牛发情状态下的反刍特性具备一定的隐性发情检测能力,且能够对发情状态进行前瞻性预测,故其实践应用价值仍不可忽视。

2.1.3 活动量

从活动量的角度实现发情监测与鉴定,主要利用发情母牛通常会表现出亢奋、躁动不安、静卧时间减少及频繁举尾等使其躯体活动量较间情期显著增加的特征,基于加速度计传感器而建立的自动化检测技术。目前,依据此技术原理设计运用的典型监测装置有智能项圈和电子脚环等。图8分别展示了智能项圈和电子脚环在实际养殖生产中的运用场景。其中,智能项圈佩戴于母牛颈部(图8a),可对其躯体活动量等生理体征进行有效监测;电子脚环穿戴于母牛的肢体部位(图8b),可对母牛每日步履数等活动量指标进行精准监测。
图8 基于加速度传感器的母牛活动量自动化监测装置

Fig. 8 Automated monitoring device for cow activity based on accelerometer

目前,国内外研究人员主要围绕母牛躯体不同部位(颈部35, 48-52、耳部21, 46, 53、腿部54-56和尾部57)活动量变化规律,不同部位活动量与母牛发情行为之间的相关性,及躯体不同部位活动量变化规律与发情行为的映射表达关系的模型算法设计等方面开展相关研究活动。如Dolecheck等53使用Cow Manager SensOor、DVM bolus、HR Tag、IceQube和Track a Cow等五种不同的自动化监测设备,同步测量奶牛颈部活动、耳朵活动、腿部活动、步数、躺卧次数、躺卧时间、反刍时间、瘤胃温度和采食时间等九种不同的行为和生理参数,不仅研究了这些行为和生理参数在发情时期与非发情时期的变化,以评估不同技术参数在检测发情方面的有效性,而且探索了包括随机森林、线性判别分析和神经网络在内的不同机器学习算法在发情检测应用中的潜力。Shahriar等48提出用K-means聚类算法对奶牛项圈传感器的加速度计时间序列数据进行分段和特征提取,同时结合活动强度对数据进行等级划分,识别出与发情相关的活动水平变化。Schilkowsky等21研究评估了一种佩戴于奶牛耳部,通过监测奶牛身体活动和反刍时间实现自动化发情检测的目的。Toan等22结合奶牛发情周期的时间约束特征,基于颈部项圈传感器数据提出启发式回溯后处理算法,显著提高奶牛发情检测精度。Schweinzer等46利用耳标式加速度计通过采集奶牛头部和耳部运动模式数据实现经产牛发情的高灵敏度和特异性自动检测。蒋晓新等54探讨运用计步器对处于泌乳盛期奶牛进行发情鉴定,指出相较于人工观察鉴定,运用计步器检测其发情检出率提高了24.01%。寇红祥等55考虑了品种、胎次等个性化差异因素影响,提出基于相同时间点个体活动量均值的个性化阈值设定方法,综合发情鉴定率89.5%,有效降低模型发情鉴定错误率。
然而,活动量增加作为母牛发情的显著标志之一,其却具有较强的个体差异性,将其单独作为模型决策因子来应用不一定是最佳选择。首先,从相关研究结果的统计分析来看,不仅相同躯体部位不同研究活动量差异较大,且具有较大的波动性,给发情鉴定带来不确定性,而且从母牛躯体不同部位监测到的活动量数据差异也很大,由此得到的发情监测与鉴定结果亦差异很大,如Wang等35利用母牛颈部活动量数据基于BP(Back Propagation)神经网络算法构建发情自动识别技术,其发情鉴定准确率可达88%~95.36%。而Mayo等50同样使用颈部发情检测装置,其准确率仅为48.4%。类似地,相较于颈部活动量监测研究,利用母牛耳部活动量数据构建发情监测与鉴定模型,Schweinzer等46研究结果其发情检出率高达96.8%,而Mayo等50却仅获得了89.5%的发情检出率。其次,母牛活动量监测指标并不具备隐性发情与假发情等异常发情的检出能力,单纯依赖此类指标可能会影响发情检测的准确性和奶牛的繁殖效率。如Zebari等58指出隐性发情的奶牛(在畜群中约占22%的比例)并没有明显的发情行为表现,其活动量水平通常没有显著增加,如活动步数、躺卧时间等均没有显著变化。Valenza等49发现在未被系统检测到发情的奶牛,有35%在黄体退化后7天内排卵。Sauls等51亦发现即使使用电子项圈等自动化活动量监测设备,仍有相当比例(在未检测到发情的奶牛中,约62%~77%)的奶牛可能在未被察觉的情况下排卵。此外,Mayo等50使用实验指出奶牛活动量监测结果在敏感性与准确性等方面差异性显著。Chanvallon等52通过评估实验指出部分自动发情检测设备在特定情况下确实能够提高发情检测的准确性,但其最佳使用策略和在实际养殖中的应用效果仍需进一步研究与评估。由此可见,从畜群整体发情检出率的角度,依据奶牛不同躯体部位活动量监测实现发情检测并不可靠,探究隐性发情潜在表征因子挖掘与优选,建立涵盖针对隐性发情的检测机制,将是进一步提高奶牛发情检测精准性,提升畜群整体发情揭发率的关键。
除上述之外,考虑到活动量变化还具有显著时间段差异性与季节效应,以及还受养殖环境与条件、健康状况、采食量、应激等因素影响,这使得其在兼顾模型泛化性与鲁棒性设计方面同样面临难以克服的困难与窘境,仅可作为母牛发情鉴定的辅助参考手段之一59,其发情检出率和准确性还有待进一步突破与提高。

2.2 基于行为模式的发情感知与鉴定

当母牛处于发情状态时,除了其生理体征信息相较于间情期产生显著变化外,其采食(包括饲料摄食和饮水)、哞叫声音和性欲活动(如爬跨、闻嗅其他母牛阴部、依靠牛背等)行为模式亦会受母牛发情表达的影响与作用,进而产生某些“特定模式”变化或特征。基于行为模式特征的发情监测与鉴定方法即是通过对上述行为的“特定模式”变化或特征进行训练学习,提取知识特征或深层语义信息,然后再利用人工神经网络、随机森林、支持向量机等浅层学习网络模型或卷积神经网络、时间序列模型等深度学习算法模型进行分类识别或预测输出,进而达到发情鉴定或发情行为的早期预测目的。

2.2.1 采食行为

食欲减退是母牛发情表达的诸多症状之一。食欲减退势必会导致该母牛饲料摄入量与饮水量一定程度的减少,或表现为食槽、水槽到访次数的减少。同时,亦有研究表明,发情状态下的母牛躁动不安,其活动量相较于间情期显著增加,恰是由于这种活动量的异常增加导致在一定程度上影响了其正常的采食行为(如采食与饮水次数、采食时长等)。因此,通过对母牛采食行为特征数据进行监测、采集与分析60-62,从理论上讲,是完全有可能实现发情监测与鉴定的目的。有关这一领域研究,目前国内尚未见到相关研究成果报道,现有研究动态与成果主要由国外相关研究团队发布完成。
从研究现状和聚焦问题来看,主要是两方面。一是饲喂特性和发情行为之间的定性或定量关系研究24, 25, 63。如Lukas等24探究了疾病或发情状态是否会影响奶牛干物质或水的摄入量,指出监测水摄入量可以作为群体奶牛干物质摄入测量的替代方法,并有潜力预测个体奶牛的健康和发情状态变化。Halli等25在分析奶牛发情期间采食量与采食行为的变化同发情之间的相关性时发现奶牛发情当天的每日鲜物质摄入量、每日访问次数和每日喂养时间分别比参考期减少了10.3%、9.1%和20.8%,同时亦指出监测喂养行为可能是潜在的发情检测辅助手段。除此之外,Pahl等63也借助称重食槽研究评估了奶牛发情前后几天采食特性的变化特征,认为监测采食特性的变化将会是奶牛早期发情检测的有效辅助手段。Zebari等58指出在奶牛隐性发情期间,即使奶牛步数、躺卧时间、躺卧次数、干物质摄入量等没有显著变化,奶牛的采食行为也可能受到影响,如采食持续时间减少等,这一研究为奶牛隐性发情的有效检测提供了科学依据。二是基于采食行为数据的发情检测的建模技术研究。相关研究结果再次证实该技术的可行性,如Cairo等64利用采食量与采食行为数据,通过运用广义线性模型、人工神经网络等浅层学习网络模型算法构建发情检测模型,所得模型均可实现早期的发情检测任务,其中人工神经网络和随机森林模型对青年牛发情的早期检测精度可达75.7%~96.5%。
由此可见,基于母牛采食量和采食行为数据等信息进行发情监测与鉴定确是一种较为理想可行的非接触、无应激、智能化的发情检测技术。尽管如此,此方法缺点也显而易见,即相关数据(包括采食量与采食行为数据信息)在自由采食环境条件下的获取必须借助专业的自动化电子饲喂系统,导致数据获取成本过高,并不利于推广与应用。

2.2.2 哞叫行为

通常母牛的哞叫声音与其生理、健康、情绪、生存环境等因素密切相关,其在一定程度上能够反映母牛身体、生理和心理状态。如图9所示,研究显示母牛在社交、采食、发情和分娩这4种不同的生理状态下,其哞叫声的频率图像呈现出较为显著的差异性。其中,红色点状虚线表示共振峰轮廓;深灰色带表示在特定时间和频率内声能的大集中;红色、黄色和蓝色线条表示发音的共振峰、强度和音高。同时亦有研究发现处于发情状态的母牛具有独特的哞叫声特征。将人工智能声学技术应用于畜禽智能信息感知领域受到越来越多研究人员的关注65
图9 四种不同生理状态下母牛哞叫声谱图33

Fig. 9 Spectrograms of vocalizations during the four different physiological state33

目前,国外相关研究主要围绕三个方面展开。一是研究母牛所处发情周期状态与发声率间的相关性及规律。如Schön等66探索奶牛在发情周期各阶段其发声率的变化规律,研究通过监测奶牛发声率变化以获得有关奶牛发情周期阶段状态信息,揭示了奶牛发声中包含两种不同声像结构的成分,即哞叫声(具有规则频率的谐波结构)与吼叫声(含有噪声的非谐波结构);同时发现,当奶牛逐渐进入发情状态时,其日均发声率与吼叫发声率均会显著增加,并且伴随发情高潮的到来,发声率达到峰值。二是研究母牛不同发声与行为或生理状态间的关系及差异性,及其发情行为声学特征分析。如Röttgen等26分析研究了奶牛在自然发情与超数排卵诱导发情条件下,其发声率变化与运动行为模式之间相关性,研究结果指出基于发情行为模式的发情评分结果与发声率的变化在时域内具有相似的过程,且该过程相似性与发情类型无关;尤其是在自然发情期间,伴随奶牛发情行为接近高潮,其发声率显著增加。Yoshihara和Oya33结合唾液皮质醇浓度监测结果,通过采用不同测量方法表征与评估奶(肉)牛在四种不同生理状态下(饲喂、发情、社交以及分娩)的发声反应,分析研究了奶(肉)牛发声行为与其所处应激状态水平之间关系。研究结果揭示了奶(肉)牛在不同生理状态下的发声行为及其声学特征参数是分析研究其在不同生理状态下的生理应激水平的重要行为指标。Yeon等67通过声谱图对处于发情期和期待喂食状态下的韩牛哞叫声从持续时间、强度、音高和共振峰等声学参数角度进行了特征及差异性分析,如图10为处于发情期的韩牛其哞叫声的声谱图,其中红色点状虚线表示共振峰轮廓;深灰色带表示在特定时间和频率上声音能量的集中;研究尝试了将不同的哞叫声进行分类识别,相关研究结论不仅揭示了母牛的叫声可以作为其不同生理或情感状态的重要指标,而且证明哞叫行为的声学特征具备成为识别母牛不同生理状况的有效工具。
图10 发情韩牛哞叫声的声谱图67

Fig. 10 The spectrogram of the mooing sound of an estrus korean cow

三是基于哞叫行为的发情监测与鉴定的模型算法设计研究。如Lee等28以韩牛为研究对象,以韩牛发声的声学频谱特征为基础,提出一种基于共振峰的特征子集选择算法,通过选择构建最佳共振峰特征子集,从模式识别的角度对韩牛发情与正常发声之间进行差异性区分研究,并将其应用于韩牛发情状态检测任务场景。经商业化养殖场真实生产场景中系统测试检验,其平均检测准确率达97.5%,且平均假阳性率和假阴性率分别接近5.0%和2.5%。Röttgen等27针对圈舍饲养环境条件下处于发情前期或发情状态中的奶牛声音行为的声学信号自动采集与记录,声源个体精准识别问题,设计并验证了一种基于项圈的奶牛个体发声行为自动检测采集系统。该系统装置采用两种信号模式(声波信号与颈部机体组织振动信号)相结合对奶牛发声信号进行采集记录,然后利用后处理算法对不同模式信号进行信号匹配分析,进而实现声源个体的识别。而国内如Wang等68使用双通道声学标签,基于最优特征组合和最优时间窗口来识别奶牛发情事件。经实验确认发现反向传播神经网络与70 ms时间窗口和特征组合(频谱滚降+频谱平坦度+梅尔频率倒谱系数)是最优发情识别方法。除此之外,有关此类技术的研究还有闫丽等69、姚绪新70,以及黄福任等71在母猪、岩羊等畜种上进行了部分探索性研究,不仅丰富了国内相关领域的研究成果,也在一定程度上助推了畜牧声学发情监测与鉴定技术的发展。
研究结果表明,无论是利用发声持续时间、发声强度、音调、共振峰和梅尔频率倒谱系数等声学特征参数构建传统浅层机器学习网络模型,还是利用先验特征矩阵及参考模式的模式识别方法,均可有效检测到母牛的发情信息,并获得良好精准度。由此可见,借助信息化、智能化监测手段,通过对母牛哞叫声的智能音频分析与处理,可以实现母牛发情的非接触、无应激的自动化检测目的。此外,近年来随着人工智能声学、语音情感识别等相关技术发展迅猛,将语音识别技术领域的经典随机模型法,如隐马尔科夫模型理论等,以及当前最新的深度神经网络模型,如深度全序列卷积神经网络、截断注意力模型SMLTA(Streaming Multi-Layer Truncated Attention)等,应用于发情状态下的母牛哞叫声音分类识别中均值得探索。

2.2.3 性欲行为

性欲行为是母牛发情时最为直接且显著的表达,通常表现为被其他母牛爬跨、主动爬跨其他母牛、下颌依靠其他牛背部休息,以及嗅闻其他母牛阴部等,其中被爬跨时站立不动是最为重要的典型发情表现,且已被公认为是母牛进入发情期的“金标准”31。传统基于人工/半人工观察的发情检测方法,如试情法、尾部涂蜡法、颌下钢球法、卡马氏发情爬跨探测器,及尾部摩擦激活探测法等,均是基于此行为特征发展而来。目前,在规模化、集约化养殖需求背景下,以计算机视觉为核心的基于爬跨行为的智能自动化发情监测与鉴定技术迅猛崛起。现利用计算机视觉技术,从母牛发情的性欲行为模式特征角度,研究构建有效的发情监测与鉴定方法,已成为近年本领域研究中重要的热点方向之一。
机器视觉方法主要通过视频监测识别母牛爬跨行为来实现发情监测与鉴定的目的,如图11所示,目前依据特征提取方法及分类决策算法的不同,相关研究大致可分为两个发展阶段。
图11 利用机器视觉识别母牛爬跨行为72

Fig. 11 Recognize the mounting behavior of cows using machine vision

一是基于人工构建行为模式特征或特征向量,通过视频图像分析手段或传统经典机器学习算法识别爬跨行为,如下图12即为谢忠红等73通过视频目标对象运动特征分析,基于图像中爬跨奶牛最小外接矩形面积的时序变化规律,提出基于时序运动特征的奶牛爬跨行为识别方法,可有效识别检测奶牛的侧爬跨行为。除此之外,比较有代表性的研究还包括Gu等74提出的基于图像熵的奶牛目标对象识别方法,通过最小包围盒面积计算和目标轮廓图捕获奶牛爬跨行为,发情漏检率最低为3.28%。Yang等75考虑到奶牛发情多高发于夜间,利用红外夜视摄像机,融合运用动态能量分析和二进制图像处理,以视频中奶牛的运动和身体长度变化特征构建行为识别规则,实现夜间低光照条件下奶牛发情行为捕捉。王少华等29使用改进的高斯混合模型和基于颜色与纹理的图像背景去除方法实现运动奶牛目标检测,利用AlexNet模型对奶牛行为进行分类识别,模型识别准确率100%,召回率88.24%。蔡兆晖和林学杰76综合运用灰化背景差分、自适应直方图均衡等视频图像分析手段,创建基于最小外接长方形角度阈值法的奶牛发情行为视频监测算法。此类别方法虽然也都可以获得较为良好的发情检出率与精准度,但其却均是在特定场景环境下进行的,方法对复杂图像背景的适应能力有限,且人工构建行为模式特征或特征向量,不仅具有一定难度,而且所得模式特征或特征向量具有局限性。
图12 基于时序运动特征的爬跨奶牛最小外接矩形的时序变化曲线73

Fig. 12 Temporal variation curve of the minimum bounding rectangle for mounting cows based on sequential motion characteristics

二是基于深度学习算法模型分类识别爬跨行为。如图13展示了利用深度学习技术在不同环境(或场景)条件下分类识别母牛爬跨行为的效果。Chowdhury等77将现有发情检测设备与深度学习技术相结合,通过自动检测奶牛身上的Kamar发情检测器及其颜色变化,实现了小规模数据集上奶牛发情行为的自动化高准确率监测目的。刘忠超等30提出基于卷积神经网络建立奶牛发情行为识别算法,模型识别准确率98.25%,漏检率5.8%,误识别率1.75%。Wang等78基于YOLOv5s模型通过添加特征增强模块,构建面向密集场景的轻量级快速识别奶牛爬跨行为自动检测模型,其平均精度均值达87.7%。Lodkaew等79提出了一种融合计算机视觉和XGBoost等传统机器学习算法的CowXNet系统,利用奶牛目标检测、身体部位关键点检测和发情行为分类检测等模块协同工作,实现自动化检测奶牛发情行为,系统正确率为83%。Arıkan等80综合运用CNN(Convolutional Neural Networks)和YOLOv5(You Only Live Once version 5)等深度学习模型,提出一种集成奶牛发情行为检测与个体身份识别的增强现实系统,其能够以99%的准确率监测奶牛爬跨行为,并以94%的准确率精准识别参与爬跨的奶牛个体。Wang等72基于YOLOv8n模型通过优化修改损失函数及添加上下文信息增强和三重注意力模块提出Estrus-YOLO模型,该模型不仅能够检测奶牛爬跨行为(APmounting:95.7%),还能够精确识别发情期奶牛个体(APestrus:93.9%)。Wang等81设计了一种基于扩张空间金字塔池化和C3GC-3的特征增强模块,并基于该模块开发了奶牛爬跨行为检测模型,其平均精度均值为94.3%。以上研究均表明,通过引入局部连接、权值共享、非线性激活等,以及特征增强、注意力机制等结构优化措施,允许模型从数据中自动获取多层次、多维度、多尺度的深层次语义特征信息,对母牛行为识别具有优秀的抗干扰能力,尤其是在行为多样性、移动性、形变性、外界环境变化、亮度不均、复杂背景环境等方面,均具有较好泛化能力和鲁棒性表现,这使得计算机视觉感知技术有望成为未来极具实际应用潜力的发情行为监测手段。
图13 基于深度学习算法模型在不同环境(或场景)条件下分类识别母牛爬跨行为72

Fig. 13 Classification and recognition of cow mounting behavior based on deep learning algorithms under different environmental (or scene) conditions

综上所述,以机器视觉为核心的基于爬跨行为的智能自动化发情监测与鉴定技术不仅可以实现24小时非接触、无应激的连续实时监测与发情鉴定,而且其具有高效低成本,且符合现代福利养殖理念。然而,需要补充的是,当下该技术的研究与推进仍然面临一些不容忽视的问题。一是母牛发情体征与行为特征表达弱化问题愈加突出,隐性发情的假阴性和怀孕母牛爬跨行为的假阳性问题亦时有发生,有关如何有效弥补基于深度学习的母牛发情行为视觉感知与鉴定方法在此类问题上的缺陷,相关探索研究严重不足。二是圈养舍饲条件下受圈舍地面湿滑、饲养空间受限(饲养密度过高),以及母牛跛行问题等因素影响,母牛实际爬跨行为(包括被其他母牛爬跨和主动爬跨其他母牛)发生率并不高,仅靠爬跨行为来定义和检测母牛发情可能并不足够充分与敏感,可靠性欠佳。当前基于深度学习算法的母牛发情行为分类识别方法几乎均是以爬跨行为为对象,缺乏对母牛多样化发情行为识别的考虑,相关研究几乎空白。三是复杂环境下的母牛多目标个体身份精准快速的视觉识别方法是发情行为视觉感知等其他视觉应用任务真正走向实用化、产业化应用的关键,而相关研究则严重不足。由此可见,相关技术仍需进一步的探索与研究。

3 多因子融合的发情感知与鉴定

基于单因子信息的发情监测与鉴定方法研究中,基于活动量的方法起步最早且具有较广的应用价值,基于计算机视觉的方法逐步成为近年来的研究热点,而且具有较大潜力,但单因子发情感知与鉴定方法的局限性日益凸显。近年来,综合考虑母牛发情症状及行为映射调控的多个变量因素,构建基于多变量决策因子的发情监测与鉴定方法的相关研究表明,多因子融合的方法不但能够获得较高的发情检出率和鉴定结果的精准性,而且可靠性、适用性和实用性相对单因子更优。基于多因子信息融合的发情监测与鉴定相关研究的代表性成果见表1
表1 基于多因子信息融合的发情监测与鉴定相关研究

Table 1 Research on monitoring and identification of estrus based on multi-factor information fusion

文献 年份

融合因子数据

类型

监测设备类型 决策方法 研究结果 样本量
田富洋等82 2013 活动量和肢端体表温度 腿部穿戴式监测设备(具备活动量与体表温度监测功能) 学习矢量量化神经网络 模型准确率达100%,发情预测率可达70%以上 5/25
寇红祥等55 2017 活动量和阴道黏液电阻值 腿部穿戴式设备(计步器)、发情排卵仪 统计分析法与阈值检测法 发情检出率100% 19/20
Gu等74 2017 爬跨行为和活动量 视频监控、腿部穿戴式设备(计步器) 视频图像分析(图像熵、最小包围盒面积等)结合活动量数据的融合决策 发情行为识别准确率≥80%,漏检率最低为3.28% 3 476/400
Minegishi等44 2019 活动量和反刍时间 颈部穿戴式设备 逻辑回归模型与阈值检测法 结合活动和反刍时间数据的模型在预测发情方面表现最佳,尤其是在冬季条件下。敏感性≥80.4%,特异性≥98.8%,阳性预测值≥71.9% 1 462/300
Fauvel等83 2019 活动量和体温(瘤胃环境温度) 颈部穿戴式设备、瘤胃温度传感器 局部级联继承算法 测试集F 1分数为68.9%,能够有效检测静默发情事件 671/125
Higaki等84 2019 阴道温度和阴道电导率

侵入式无线阴道传

感器

机器学习算法(决策树、支持向量机和人工神经网络) 人工神经网络(最佳模型)敏感度和精确度均达到94% 17/17
Cairo等64 2020

采食和饮水行为

数据

电子饲料槽和水槽 机器学习算法(广义线性模型、人工神经网络和随机森林) 可对发情事件提前6小时或者12小时进行有效预测,且人工神经网络模型与随机森林算法均具有较好的效果;在即时预测方面,人工神经网络效果最佳,敏感性100%,特异性93.2%,准确性96.5%,阳性预测值93.4% 99/57
Wang等35 2020 位置和行为参数 颈部穿戴式设备、视频监控 主成分分析与机器学习算法 使用0.5小时时间窗口的反向传播神经网络算法监测效果最佳;其灵敏度93.12%,精确度85.71%,准确度≥88% 265/12
Benaissa等36 2020 位置和行为参数 颈部穿戴式设备 逻辑回归模型 将多传感器结合使用效果最佳;其灵敏度85%~90%,精确度87%~93% 未知/12
Perez Marquez等85 2021 体温(外阴皮肤温度)和行为数据 红外热成像相机 统计分析与相关性分析,广义线性混合模型 最优组合(Res IR VtailPM-S-hipAM-S-hipPM)效率77%,诊断优势比26.62,阳性预测值90%,特异性97%,Youden J指数0.32 未知/18
Schilkowsky等21 2021 身体活动水平和反刍时间 耳部穿戴式加速度计传感器 系统内部未知算法 在所有发情且排卵的奶牛群体中,系统敏感度92.5%,特异性91.7%,阳性预测值99.4%,准确度94% 190/216
Higaki等86 2021 体表温度和行为指标(平均活动强度、站立时间和姿势变化等参数) 尾部穿戴式设备(集测温与行为数据记录于一体) 机器学习算法(决策树、支持向量机和人工神经网络) 支持向量机(最佳模型)敏感度92.0%,精确度54.8% 25/13
Yildiz等87 2021 活动量数据和养殖环境数据(如温度、湿度等) 计步器、环境温湿度监测仪 不同拓扑结构的人工神经网络、尺度共轭梯度反向传播算法等 最佳模型准确率≥99%,敏感性为10.32%,精确度为63.34%,F 1分数为0.177 5 184/78
Kim等88 2023 体温(瘤胃环境温度)和身体活动量 瘤胃胶囊传感器、植入式三轴加速度计 单因素方差分析法、卡方检验 正确预测发情的比例为88.2%,误预测率为11.8% 未知/125
Mortazavi等89 2023 牛奶中挥发性有机化合物成分(如甲烷、氨气、硫化氢等) 挥发性有机化合物传感器(电子鼻技术) 机器学习算法(主成分分析、线性判别分析和人工神经网络) 人工神经网络分类准确率为91% 34/46
Cheon等90 2023 活动量和爬跨行为 颈部穿戴式设备 逐步判别分析法 两小时时间段内记录的活动和爬跨行为在发情接近时显著增加;结合活动和爬跨行为可提高韩牛发情检测率 8/20

注:样本量A/B表达A是实际监测记录的母牛发情事件数量,B是参与研究的母牛数量。

表1文献中阐明的变量决策因子有活动量(耳部、颈部或者腿部,亦或者尾部)、采食行为特征及采食量与饮水量、反刍时间、站立与躺卧频率及其时间、体温(体表温度、阴道温度、直肠温度或瘤胃温度),及阴道体液电导率等参数。在实际的具体应用研究中,通常是选取上述参数因子中的两个或两个以上作为模型的多变量决策因子,然后使用传统机器学习算法,诸如BP神经网络模型、支持向量机模型、随机森林法、分类决策树等,通过聚类分析或特征提取来构建发情鉴定算法模型,进而达到发情检测的任务目的。
具体而言,相关研究工作根据源数据获取形式的不同可概括归纳为两类,其中一类是结合多源接触式(包括穿戴式和侵入式)监测因子构建算法模型实现奶牛发情监测与鉴定。如田富洋等82以奶牛单位时间活动量、卧姿状态、活动时间、体表温度和连续高活动因子为决策因子,构建学习矢量量化神经网络对奶牛发情行为进行辨识与预测,模型准确率达100%,发情预测率可达70%以上。Higaki等84使用侵入式无线阴道传感器监测奶牛阴道温度和电导率,通过构建机器学习模型来评估其在发情检测上的潜力;当模型是人工神经网络时其性能最佳,敏感度和精确度均达到94%。Minegishi等44综合考虑了奶牛活动和反刍数据特征,研发基于逻辑回归的奶牛发情预测模型,并指出未发现将反刍数据纳入活动数据能显著提高预测性能。Fauvel等83提出一种基于局部级联集成算法的机器学习方法,通过融合使用奶牛活动数据(如反刍、进食、休息、站立等)和瘤胃环境温度数据,证实多源数据融合能有效提高静默发情检测能力。Wang等35探讨了结合位置、加速度计数据(包含步数、位移等十二个行为变量因子)和机器学习技术来提高奶牛发情检测准确性的方法,发现使用0.5 h时间窗口的反向传播神经网络算法在监测奶牛发情方面表现最佳,其敏感性、准确性和F 1分数分别达到99.4%,95.4%和97.5%。Benaissa等36结合使用颈部和腿部加速度计,以及UWB(Ultra Wide Band)室内定位传感器,通过获取反刍、进食、休息时间,躺卧次数与时间,以及在隔栏内、进食区、饮水区时间等参数来构建逻辑回归模型进行奶牛发情检测,实验证明将多传感器结合使用效果最佳,其灵敏度为85%~90%,精确度为87%~93%。Higaki等86连续监测奶牛体表温度和行为指标(平均活动强度、站立时间和姿势变化等参数)来创建奶牛发情检测模型,当模型为支持向量机(最佳模型)时敏感度92.0%,精确度54.8%。Yildiz和Ozguven87将奶牛运动数据、前期运动数据、上次发情后天数、温度和湿度相结合,使用人工神经网络有效提高奶牛发情检测的准确性(发情预测准确率99.83%),并指出环境因素(如温度和湿度)对于提高发情预测的准确性至关重要。Kim 等88通过分析发情周期中韩牛瘤胃温度和身体活动的变化来提高发情预测准确性,准确率达88.2%,显著高于对照组的视觉观察预测。
另一个类则是融合非接触式监测多源决策变量数据构建算法模型实现奶牛发情监测与鉴定。如Cairo等64使用电子食槽和水槽设备监测获取奶牛总饲料摄入量、在饲料槽和水槽的访问次数、进食时间和饮水时间等参数作为发情检测的潜在预测因子,实现对发情事件提前6 h或者12 h进行有效预测,且发现人工神经网络模型与随机森林算法均具有较好的效果;在即时预测方面,人工神经网络效果最佳,敏感性100%,特异性93.2%,准确性96.5%,阳性预测值93.4%。Perez等85探讨了将奶牛外阴皮肤温度和臀部运动行为数据相结合来提高奶牛自然发情检测准确性的可能,发现其最优组合的效率为77%,诊断优势比26.62,阳性预测值90%,特异性97%,Youden J指数0.32。
从现有文献研究结果的分析与统计来看,此类方法能够较为显著地提升发情检测的精准度与可靠性。其之所以能够获得模型性能的显著提升,究其本质,基于多变量决策因子的发情监测与鉴定方法实则就是多模态信息(即多变量因子,每一因子对应一种模态信息)早期融合的典型应用,它将抽取自不同模态的信息整合成一个稳定的多模态表征,具有挖掘模态信息之间的特征互补性,剔除模态间的冗余性,消除歧义和不确定性的能力,从而学习到更丰富而全面的内在规律与特征表示,不仅能够保证模型在某些模态缺失时仍能有效工作,而且有效提高模型决策性与鲁棒性91-93。相较于以往的单因子信息发情监测与鉴定方法,基于多因子信息融合的方法对母牛发情生理体征信息监测的多尺度、多维化使得对发情监测与鉴定更为全面、细致,不仅实现将多因子信息整合以得到一致、公共的模型输出,而且在精准度与适应性上获得显著提升。
尽管如此,当前基于多因子信息融合的发情监测与鉴定方法研究亦有不足之处,主要表现在四方面。一是从决策因子类型来看,其相关参数获取方式基本均需使用可穿戴监测设备,如计步器、耳标、电子项圈等,或者利用植入式/侵入式监测设备进行监测记录,这些方式不仅有违动物福利,而且易造成不同程度的应激反应,影响相关监测参数的测量准确性。二是考虑到活动量、反刍及采食行为等参数之间的耦合互作影响,及活动量与反刍等指标自身受多因子(如养殖环境与条件、饲养管理方式、应激、疾病、季节效应与昼夜节律等因素)影响且在个体间、牛场间和品种间具有高度变异性,以活动量、反刍及采食行为为基础而构建的基于多因子信息融合发情监测与鉴定算法模型在同品种不同畜群之间、不同品种畜群,以及不同饲养环境条件与季节条件下的鲁棒性、适用一致性等问题还有待商榷和进一步的研究讨论。三是现有模型算法在多因子信息融合表征的策略与方法上较为单一,基本均采用早期特征融合策略,这使得其在跨模态异质异构信息融合表征上存在困难。四是在多因子特征提取模型和发情鉴定决策算法模型研究上严重不足,当前现有方法在进行多因子特征融合时,基本均是人工特征选择,难以挖掘多因子信息之间的潜在语义特征和深层知识;而对于发情鉴定决策算法上的研究基本以应用BP神经网络模型、支持向量机、分类决策树、随机森林等传统机器学习算法为主,对于将深度学习技术应用于特征提取、融合表征,以及综合决策方面的探索研究较少。

4 关键问题与未来挑战

当前,中国肉牛和奶牛养殖行业正处在重要的转型阶段,从传统的规模化、机械化和信息化养殖模式,逐步迈向以自动化和智能化技术为核心的智慧养殖新时代。如何更准确、及时、实用且适应性强地监测和鉴定母牛的发情情况,成为了新形势下畜牧养殖业亟待攻克的重要课题。尽管当前相关技术研究已催生了一系列具有商业价值的智能穿戴或植入设备,如智能脚环、瘤胃监测“药丸”以及电子项圈等,在一定程度上有效推动了现代畜牧生产智能化发展。然而,在精细化畜牧生产场景中,特别是在母牛发情监测与鉴定这一关键环节,单纯的技术先进性并不足以满足实际需求,除了要求相关技术具备高精度和快速响应的能力外,还须充分考虑系统实用性、稳定性和环境适应性,以及设备成本效益、操作简便性等多方面因素,这就使得现有技术方法仍面临诸多技术难题与挑战。

4.1 亟待解决的关键问题

从当前技术研究现状来看,在进一步深化母牛发情精准感知与智能鉴定技术研究的过程中,尚存在若干亟待解决的关键问题。
一是如何建立针对母牛弱发情条件下行之有效的监测手段与鉴定方法,进一步提升母牛发情监测与鉴定的精准性。当前,受高产性能的盲目追求、长期或不当激素干预,以及繁育性能遗传负效应等众多不利因素持久影响,肉牛和奶牛生殖健康状况正受到日益严峻的威胁,其发情体征与行为特征表达逐渐弱化,隐性发情等异常发情现象比例显著上升,这使得精准感知和准确鉴定母牛发情状态面临前所未有的挑战,不仅严重阻碍了畜群发情检出率的持续提升,也对畜群繁殖效率乃至整个畜牧业的可持续发展构成了重大威胁。因此,创新母牛发情的监测手段与鉴定方法,提高弱发情条件下监测与鉴定的精准性势在必行。
二是如何突破复杂背景噪声中母牛哞叫音频提取、特征分析与表征声纹构建等技术难题,有效推动母牛发情声学感知技术在复杂养殖生产场景中的实用化发展。目前,相关研究虽已证明该技术路径的科学性与可行性,但大多研究基本均是在人工参与构建的受控简化环境中进行,而实际养殖生产场景却是随机、不可控的众多因素相互交织影响,如实际养殖环境中众多随机环境噪声源(如交通噪声、机械噪声、风声,以及人类活动声音等)会形成复杂背景噪声、不同母牛不同生理状态(如发情、妊娠、分娩、饥饿、社交互动、应激、疾病或疼痛等),不同母牛相同生理状态下哞叫声的混叠干扰、相同母牛不同生理状态下哞叫声相似性干扰,以及不同品种、年龄、体型和畜群社会关系结构、季节等因素对母牛哞叫声的影响等。这些因素势必会对复杂养殖生产环境中精准获取与标记母牛发情哞叫声、创建高质量声纹数据集造成巨大障碍,严重阻碍母牛发情声学监测与鉴定技术的熟化应用进程。为此,努力破解复杂背景噪声中哞叫音频提取、母牛不同生理状态与不同个体身份的表征声纹构建,以及母牛发情哞叫音频特征分析与挖掘等技术难题,将成为当下乃至未来一段时期内该领域亟待解决的问题。
三是如何提升计算机视觉监测与鉴定技术在实际复杂环境或应用场景中的适应能力,有效增强系统泛化性和鲁棒性,提高母牛发情视觉监测与鉴定的实用性、精准性和可靠性。目前,相关算法模型基本均是针对某一类特定环境或场景有效,缺乏对于复杂多变条件环境的一致适应能力。具体而言,当外界应用环境因素发生变化时,诸如从白天转换至夜间、从顺光条件转换为逆光条件,以及气候原因所造成的光照强度突变、光线投射产生的明暗区域差异等复杂情形,这些算法模型难以维持稳定且高效的性能表现,其一致性与准确性亦随之下降。除此之外,由于发情期不同阶段内,母牛爬跨行为仍有细粒度区别,考虑人工授精时机的精准把握,并不能简单地将不同时期内的爬跨行为笼统对待。同时,考虑母牛发情体征与行为特征表达弱化问题,以及发情行为表达呈多样化趋势,第二性征行为愈加常见等新情况新变化的产生,亦促使在一些复杂应用场景任务中仅靠爬跨行为来定义和检测母牛发情可能并不足够充分与敏感,可靠性亦欠佳。由此可见,完善与增强其复杂环境条件下的适应性,以构建更加智能、高效且普适的视觉监测与识别框架,进一步提升母牛发情视觉监测与鉴定技术的实用性、精准性和可靠性,或将仍是未来一定时期内亟需攻克的关键技术问题。
四是如何构建多模弱相关松散耦合互作下的非接触无应激、异质异构多模态信息融合的综合监测鉴定模型,实现系统精准性、稳定性和环境适应性进一步提升的同时,兼顾系统高通量、低成本、易维护等特征属性的设计与实现。当前基于多因子信息融合的发情监测与鉴定技术在现有具体实现上其相关决策变量多以活动量、反刍及采食行为等参数为主,决策变量不仅具有高度变异性且相互之间存在较强耦合互作影响,这无疑对系统算法模型的设计提出了严峻挑战,特别是在提升模型的鲁棒性、稳定性和跨场景的一致适用性方面。同时,由于相关决策变量的监测记录基本均采用外源性穿戴式或侵入、植入式设备而进行,在实际使用中出现玷污损坏或脱落丢失等风险问题较多,使得系统设备成本与日常维护问题变得异常突出,尤其是在大规模批量化应用场景中,导致系统实用性显著降低,技术推广与应用反馈效果不佳。因此,进一步探索完善基于红外测温(生理体征),声学(哞叫行为)、计算机视觉(性欲行为模式)等的高通量、低成本、易维护的非接触无应激监测技术实现路径与方法,通过监测获取母牛生理体征与行为模式参数,构建多模弱相关松散耦合互作下的多模态信息融合的综合监测鉴定模型,或是当下解决“质”(精准性、稳定性、实用性等)与“效”(高通量、低成本、易维护等)兼得问题亟需实践的研究。
除此之外,目前有关多模态信息融合决策方面的研究仍处于早期融合应用的探索阶段,诸如在决策因子参数优选与监测、模型系统鲁棒性与适用一致性、融合表征策略,以及多模态特征提取与决策算法等方面均存在明显不足。深度学习因其在处理复杂、高维、异构数据方面可利用多层次抽象,对复杂数据模式进行有效理解和分类,从而实现更为精准的数据驱动决策。探索将深度学习技术融合应用于母牛发情体征信息的多模态特征提取、信息融合表征,及决策算法应用等研究中,实现更准确、更可靠的精准感知与智能鉴定亦是目前亟待解决的关键问题之一。

4.2 未来研究的技术挑战

基于中国畜牧养殖业发展现状,围绕母牛发情精准感知与智能鉴定技术研究,从现有相关技术文献资料研究情况与商业化智能穿戴设备的应用实践经验来看,未来相关技术研究与发展或将更多地聚焦在进一步有效地提高母牛发情检测与鉴定方法的及时性与精准性的探索研究中,同时兼顾系统检测速度、设备成本、易用性等方面,以及系统鲁棒性与适用性的设计。由此,相关研究在未来可能面临如下技术挑战。
一是母牛弱发情或隐性发情状态下的体征监测与表征对现有技术方法体系的挑战。目前,在现有技术方法体系下,主流相关研究与应用,如脚环、电子项圈,及计算机视觉监测等,多是围绕母牛显性发情状态(或发情行为)而设计,均未能充分考虑母牛弱发情状态下的有效监测与鉴定。即使目前部分研究与应用在优化探索过程中添加了体温、采食行为特性等具备隐性发情检测能力的体征因子或行为特征指标,但相关设备或系统在实用性、稳定性和环境适应性,以及设备成本效益、操作简便性等诸多方面仍存在短板。为有效应对这一难题,进一步探索创新母牛发情监测技术与手段,成为当前规模化与集约化养殖趋势背景下亟需克服的重要技术挑战之一。
二是复杂背景噪声与精准实用的设计要求对当前母牛发情声学监测与鉴定技术的挑战。基于当前该领域技术研究现状与存在问题,目前利用声学感知对母牛发情进行精准识别与智能鉴定,主要技术挑战或涉及四个方面。一是噪声抑制与目标音频信号提取。复杂背景噪声是现实养殖生产中客观存在、无法避免的环境因素,且这种复杂性具体表现为噪声源的多样性、时空随机性,以及频域频谱的复杂性(如频域宽、频谱成分复杂、功率谱密度随机等)等多方面,这使得噪声抑制的相关设计极具挑战性;除此之外,由于母牛哞叫行为具有随机性,如何从连续音频记录信号中将随机出现的目标音频(即不同生理状态下母牛哞叫声的相关音频信号)准确地自动分割与抽取亦是不容忽视的挑战性工作之一。二是母牛哞叫声源定位。声纹个体识别技术是母牛发情声学监测感知的关键支撑技术,其要求在构建声纹数据集的过程中必须将声纹特征数据与牛只个体身份信息进行精准的关联绑定,这就使得在原始数据采集中不仅要拾取记录哞叫音频数据,而且需要自动、准确地从畜群中识别发声牛只,并同步关联记录该发声牛只的个体身份信息。在此过程中,当监测到有牛只发出哞叫声时,考虑到人为活动的参与或干扰势必会在一定程度上影响母牛生理状态的声学表达过程,如何利用数智化信息手段,快速、精准地找到发声牛只,从目前相关技术发展现状来看,仍是一项富有挑战性的创新工作。三是表征声纹构建。从技术角度,母牛发情声学感知过程包括母牛个体身份的声纹识别和生理状态的声纹识别与分类两部分,即通过母牛哞叫声来识别“哪头牛”发出了哞叫,并分类感知它所处的生理状态。构建表征声纹在其中发挥着至关重要的作用。四是音频信号特征选择、提取、分析和决策算法模型。目前利用母牛哞叫声行为进行发情监测与鉴定的方法主要是使用人工方式从发声持续时间、发声强度、音调、共振峰和梅尔频率倒谱系数等声学特征参数构建特征向量或利用先验特征矩阵及参考模式,借助传统浅层机器学习网络模型实现发情检测目的。而对于当今在语音识别领域中主流的隐马尔科夫模型等随机模型法,及深度神经网络模型等新技术在母牛发情监测与鉴定的探索应用方面却鲜有报道。考虑声学信号为典型时间序列信号,充分分析、挖掘与利用深层语义特征信息,探索基于深度学习技术的全新音频特征选择、提取、分析和决策算法模型亦是未来研究中的挑战性工作。
三是复杂环境条件、动态且多样化目标或行为对计算机视觉监测与鉴定相关模型算法综合性能的挑战。比较典型、突出的技术挑战主要有三个方面。一是视觉空间待检测目标之间相互遮挡或连通构图的问题。现有研究成果与技术实践在应用探索中,其视频图像数据在获取时往往采用倾斜俯视或水平侧视角度,这不仅容易出现目标对象之间相互遮挡或连通构图的问题,而且所采集视频图像的背景元素往往多元复杂、具有无规则性,这势必对模型的鲁棒性与精准度均会产生显著影响,尤其是对个体身份信息的准确识别提出严峻挑战。二是实际养殖环境外界自然条件复杂多变性的问题;如存在雨雾天气、光线不足、逆光环境、镜头玷污等不利因素,均会造成视频图像出现照度不足、光照强度突变、明暗区,及高光部分偏多、主体曝光不充分等系列问题,其都会对现有视觉发情监测与鉴定技术提出严峻考验。同时,考虑到母牛发情行为多高发于夜间,如何提高模型算法在夜间微光或星光等复杂弱可视环境下的识别能力亦是不容忽视的技术挑战。三是不同品种母牛体貌特征多样性亦对算法模型的泛化能力与鲁棒性构成挑战。在实际中,母牛会因品种不同而具有不同的表型特征,如荷斯坦奶牛、西门塔尔牛等具有显著而又丰富的花纹体貌特征,有利于视觉监测与识别。然而,类似草原红牛、安格斯牛和日本和牛等通体纯色的品种,仅能依靠个体形态学特征等进行识别,如体型轮廓、身体比例或是特定的生理标记等,这要求模型具备高度的灵活性与适应性,以确保在高度相似的背景中依然能够精准区分与判别目标对象。
四是系统高精准、高通量、低成本等属性要求对创新多模态信息融合的发情监测与鉴定方法的挑战。具体来说,相关挑战主要来自于如下三个方面:一是决策因子优选及其相应非接触无应激式监测技术实现;二是面向跨模态异质异构信息融合表征,模态转换、融合表征、模态时空对齐方法;三是运用深度学习技术,多因子信息之间的潜在语义特征和深层知识的分析与挖掘,探索特征级融合、决策级融合的实现路径与方法。
综上所述,精准智慧养殖技术的研究和应用前景广阔。未来伴随深度学习、物联网、大数据等前沿技术的深度融合与应用,通过持续的深入研究和技术创新,重点突破母牛弱发情监测和声学感知、计算机视觉以及多模态信息融合等方面的关键技术落地应用难题,智慧养殖势必将实现从概念到实践的跨越,促使中国肉牛和奶牛养殖业站上新的发展起点,亦将为中国畜牧业的现代化转型和可持续发展提供强有力的技术支撑。

利益冲突声明

本研究不存在研究者以及与公开研究成果有关的利益冲突。

1
孙耀辉. 牛场繁殖数据统计与繁殖管理分析[J]. 黑龙江动物繁殖, 2022, 30(2): 42-46.

SUN Y H. Statistical analysis of reproductive data and reproductive management in cattle farms[J]. Heilongjiang journal of animal reproduction, 2022, 30(2): 42-46.

2
REITH S, HOY S. Review: Behavioral signs of estrus and the potential of fully automated systems for detection of estrus in dairy cattle[J]. Animal, 2018, 12(2): 398-407.

3
MOTTRAM T. Animal board invited review: Precision livestock farming for dairy cows with a focus on oestrus detection[J]. Animal, 2016, 10(10): 1575-1584.

4
刘镜, 何光中. 肉牛繁殖力低下的原因及其提高措施[J]. 安徽农业科学, 2012, 40(36): 17628-17629, 17631.

LIU J, HE G Z. Causes of low fertility in beef cattle and measures to improve it[J]. Journal of Anhui agricultural sciences, 2012, 40(36): 17628-17629, 17631.

5
周正义, 田莉, 田宏志, 等. 母牛安静发情鉴定技术概况及影响因素分析[J]. 畜牧兽医学报, 2021, 52(4): 862-871.

ZHOU Z Y, TIAN L, TIAN H Z, et al. Analysis of identification technology and influence factors on silent estrus of cows[J]. Acta veterinaria et zootechnica sinica, 2021, 52(4): 862-871.

6
朱奎新, 耿明杰, 高庆文. 浅谈母牛的异常发情[J]. 黑龙江动物繁殖, 1997, 5(3): 38-39.

ZHU K X, GENG M J, GAO Q W. Introduction to abnormal estrus in cows[J]. Heilongjiang journal of animal reproduction, 1997, 5(3): 38-39.

7
汪开英, 赵晓洋, 何勇. 畜禽行为及生理信息的无损监测技术研究进展[J]. 农业工程学报, 2017, 33(20): 197-209.

WANG K Y, ZHAO X Y, HE Y. Review on noninvasive monitoring technology of poultry behavior and physiological information[J]. Transactions of the Chinese society of agricultural engineering, 2017, 33(20): 197-209.

8
何东健, 刘冬, 赵凯旋. 精准畜牧业中动物信息智能感知与行为检测研究进展[J]. 农业机械学报, 2016, 47(5): 231-244.

HE D J, LIU D, ZHAO K X. Review of perceiving animal information and behavior in precision livestock farming[J]. Transactions of the Chinese society for agricultural machinery, 2016, 47(5): 231-244.

9
刘继芳, 韩书庆, 齐秀丽. 中国信息化畜禽养殖技术应用现状与展望[J]. 中国乳业, 2021(12): 47-52.

LIU J F, HAN S Q, QI X L. Application progress and prospects of the livestock and poultry informatized breeding technology in China[J]. China dairy, 2021(12): 47-52.

10
MIČIAKOVÁ M, STRAPÁK P, SZENCZIOVÁ I, et al. Several methods of estrus detection in cattle dams: A review[J]. Acta universitatis agriculturae et silviculturae mendelianae brunensis, 2018, 66(2): 619-625.

11
宗哲英, 王帅, 苏力德, 等. 奶牛发情行为的监测研究现状及进展[J]. 畜牧与兽医, 2018, 50(2): 147-150.

ZONG Z Y, WANG S, SU L D, et al. A review of research on monitoring the oestrus behavior of dairy cows[J]. Animal husbandry & veterinary medicine, 2018, 50(2): 147-150.

12
王祯, 宗哲英, 王海超, 等. 奶牛发情数字化检测方法研究现状与发展[J]. 中国饲料, 2021(21): 134-138.

WANG Z, ZONG Z Y, WANG H C, et al. Research status and development of digital detection methods for cow estrus[J]. China feed, 2021(21): 134-138.

13
郭冠华, 张建春, 董智豪, 等. 躯体不同部位活动量表征母牛发情的研究进展[J]. 中国畜牧杂志, 2022, 58(7): 15-21.

GUO G H, ZHANG J C, DONG Z H, et al. Research progress on the activity of different parts of body to characterize the estrus of cows[J]. Chinese journal of animal science, 2022, 58(7): 15-21.

14
张春梅, 席丽, 李志强, 等. 奶牛的发情鉴定方法比较[J]. 当代畜禽养殖业, 2019(1): 4-7.

ZHANG C M, XI L, LI Z Q, et al. Comparison of methods for identifying estrus in dairy cows[J]. Modern animal husbandry, 2019(1): 4-7.

15
李小俊, 王振玲, 陈晓丽, 等. 奶牛体温变化规律及繁殖应用研究进展[J]. 畜牧兽医学报, 2016, 47(12): 2331-2341.

LI X J, WANG Z L, CHEN X L, et al. Study progress on the rule of body temperature and its application in reproduction of dairy cattle[J]. Chinese journal of animal and veterinary sciences, 2016, 47(12): 2331-2341.

16
REDDEN K D, KENNEDY A D, INGALLS J R, et al. Detection of estrus by radiotelemetric monitoring of vaginal and ear skin temperature and pedometer measurements of activity[J]. Journal of dairy science, 1993, 76(3): 713-721.

17
KYLE B L, KENNEDY A D, SMALL J A. Measurement of vaginal temperature by radiotelemetry for the prediction of estrus in beef cows[J]. Theriogenology, 1998, 49(8): 1437-1449.

18
REITH S, HOY S. Relationship between daily rumination time and estrus of dairy cows[J]. Journal of dairy science, 2012, 95(11): 6416-6420.

19
REITH S, HOY S. Automatic monitoring of rumination time for oestrus detection in dairy cattle[C]// International Conference of Agricultural Engineering - CIGR-AgEng 2012: Agriculture and Engineering for a Healthier Life. Valencia, Spain: CIGR-EurAgEng. 2012.

20
李蓝祁, 刘江静, 陈晓丽, 等. 奶牛发情期活动量变化规律研究[J]. 畜牧兽医学报, 2018, 49(7): 1387-1393.

LI L Q, LIU J J, CHEN X L, et al. Study on the activity alteration of dairy cow during estrus[J]. Chinese journal of animal and veterinary sciences, 2018, 49(7): 1387-1393.

21
SCHILKOWSKY E M, GRANADOS G E, SITKO E M, et al. Evaluation and characterization of estrus alerts and behavioral parameters generated by an ear-attached accelerometer-based system for automated detection of estrus[J]. Journal of dairy science, 2021, 104(5): 6222-6237.

22
TOAN T V, NISHIKAWA R, THANH L T, et al. Cow estrus detection with low-frequency accelerometer sensor by unsupervised learning[C]// Proceedings of the Tenth International Symposium on Information and Communication Technology - SoICT 2019. New York, USA: ACM, 2019: 342-349.

23
ARCIDIACONO C, PORTO S M C, MANCINO M, et al. A threshold-based algorithm for the development of inertial sensor-based systems to perform real-time cow step counting in free-stall barns[J]. Biosystems engineering, 2017, 153: 99-109.

24
LUKAS J M, RENEAU J K, LINN J G. Water intake and dry matter intake changes as a feeding management tool and indicator of health and estrus status in dairy cows[J]. Journal of dairy science, 2008, 91(9): 3385-3394.

25
HALLI K, KOCH C, ROMBERG F J, et al. Investigations on automatically measured feed intake amount in dairy cows during the oestrus period[J]. Archives animal breeding, 2015, 58(1): 93-98.

26
RÖTTGEN V, BECKER F, TUCHSCHERER A, et al. Vocalization as an indicator of estrus climax in Holstein heifers during natural estrus and superovulation[J]. Journal of dairy science, 2018, 101(3): 2383-2394.

27
RÖTTGEN V, SCHÖN P C, BECKER F, et al. Automatic recording of individual oestrus vocalisation in group-housed dairy cattle: Development of a cattle call monitor[J]. Animal, 2020, 14(1): 198-205.

28
LEE J, ZUO S S, CHUNG Y, et al. Formant-based acoustic features for cow's estrus detection in audio surveillance system[C]// 2014 11th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). Piscataway, New Jersey, USA: IEEE, 2014: 236-240.

29
王少华, 何东健, 刘冬. 基于机器视觉的奶牛发情行为自动识别方法[J]. 农业机械学报, 2020, 51(4): 241-249.

WANG S H, HE D J, LIU D. Automatic recognition method of dairy cow estrus behavior based on machine vision[J]. Transactions of the Chinese society for agricultural machinery, 2020, 51(4): 241-249.

30
刘忠超, 何东健. 基于卷积神经网络的奶牛发情行为识别方法[J]. 农业机械学报, 2019, 50(7): 186-193.

LIU Z C, HE D J. Recognition method of cow estrus behavior based on convolutional neural network[J]. Transactions of the Chinese society for agricultural machinery, 2019, 50(7): 186-193.

31
VAN EERDENBURG F J, LOEFFLER H S, VAN VLIET J H. Detection of oestrus in dairy cows: A new approach to an old problem[J]. The veterinary quarterly, 1996, 18(2): 52-54.

32
CHANG A Z, FOGARTY E S, MORAES L E, et al. Detection of rumination in cattle using an accelerometer ear-tag: A comparison of analytical methods and individual animal and generic models[J]. Computers and electronics in agriculture, 2022, 192: ID 106595.

33
YOSHIHARA Y, OYA K. Characterization and assessment of vocalization responses of cows to different physiological states[J]. Journal of applied animal research, 2021, 49(1): 347-351.

34
NOE S M, ZIN T T, TIN P, et al. Automatic detection and tracking of mounting behavior in cattle using a deep learning-based instance segmentation model[J]. International journal of innovativecomputing, information and control, 2022, 18: 211-220.

35
WANG J, BELL M, LIU X H, et al. Machine-learning techniques can enhance dairy cow estrus detection using location and acceleration data[J]. Animals, 2020, 10(7): ID 1160.

36
BENAISSA S, TUYTTENS F A M, PLETS D, et al. Calving and estrus detection in dairy cattle using a combination of indoor localization and accelerometer sensors[J]. Computers and electronics in agriculture, 2020, 168: ID 105153.

37
CODL R, DUCHÁČEK J, VACEK M, et al. Relationship between daily activities duration and oestrus in dairy cows over the year[J]. Acta veterinaria Brno, 2022, 91(1): 11-16.

38
康熙, 刘刚, 初梦苑, 等. 基于计算机视觉的奶牛生理参数监测与疾病诊断研究进展及挑战[J]. 智慧农业(中英文), 2022, 4(2): 1-18.

KANG X, LIU G, CHU M Y, et al. Advances and challenges in physiological parameters monitoring and diseases diagnosing of dairy cows based on computer vision[J]. Smart agriculture, 2022, 4(2): 1-18.

39
ANDERSSON L M, OKADA H, MIURA R, et al. Wearable wireless estrus detection sensor for cows[J]. Computers and electronics in agriculture, 2016, 127: 101-108.

40
HIGAKI S, DARHAN H, SUZUKI C, et al. An attempt at estrus detection in cattle by continuous measurements of ventral tail base surface temperature with supervised machine learning[J]. The journal of reproduction and development, 2021, 67(1): 67-71.

41
TALUKDER S, KERRISK K L, INGENHOFF L, et al. Infrared technology for estrus detection and as a predictor of time of ovulation in dairy cows in a pasture-based system[J]. Theriogenology, 2014, 81(7): 925-935.

42
MIURA R, YOSHIOKA K, MIYAMOTO T, et al. Estrous detection by monitoring ventral tail base surface temperature using a wearable wireless sensor in cattle[J]. Animal reproduction science, 2017, 180: 50-57.

43
WANG Z, WANG S, WANG C G, et al. A non-contact cow estrus monitoring method based on the thermal infrared images of cows[J]. Agriculture, 2023, 13(2): ID 385.

44
MINEGISHI K, HEINS B J, PEREIRA G M. Peri-estrus activity and rumination time and its application to estrus prediction: Evidence from dairy herds under organic grazing and low-input conventional production[J]. Livestock science, 2019, 221: 144-154.

45
邵大富, 王封霞, 李胜利, 等. 发情期间奶牛反刍行为和产奶量的变化规律[C]// 第七届中国奶业大会. 青岛, 中国: 《中国奶牛》编辑部, 2016: 253-256.

SHAO D F, WANG F X, LI S L, et al.The changing patterns of ruminant behavior and milk yield in dairy cows during estrus[C]// The 7th China Dairy Industry Conference. Qingdao, China: Editorial Department of China Dairy Cattle, 2016: 253-256.

46
SCHWEINZER V, GUSTERER E, KANZ P, et al. Comparison of behavioral patterns of dairy cows with natural estrus and induced ovulation detected by an ear-tag based accelerometer[J]. Theriogenology, 2020, 157: 33-41.

47
WANG J, HE Z T, ZHENG G Q, et al. Development and validation of an ensemble classifier for real-time recognition of cow behavior patterns from accelerometer data and location data[J]. PLoS One, 2018, 13(9): ID e0203546.

48
SHAHRIAR M S, SMITH D, RAHMAN A, et al. Heat event detection in dairy cows with collar sensors: An unsupervised machine learning approach[C]// 2015 IEEE SENSORS. Piscataway, New Jersey, USA: IEEE, 2015: 1-4.

49
VALENZA A, GIORDANO J O, LOPES G, et al. Assessment of an accelerometer system for detection of estrus and treatment with gonadotropin-releasing hormone at the time of insemination in lactating dairy cows[J]. Journal of dairy science, 2012, 95(12): 7115-7127.

50
MAYO L M, SILVIA W J, RAY D L, et al. Automated estrous detection using multiple commercial precision dairy monitoring technologies in synchronized dairy cows[J]. Journal of dairy science, 2019, 102(3): 2645-2656.

51
SAULS J A, VOELZ B E, HILL S L, et al. Increasing estrus expression in the lactating dairy cow 1[J]. Journal of dairy science, 2017, 100(1): 807-820.

52
CHANVALLON A, COYRAL-CASTEL S, GATIEN J, et al. Comparison of three devices for the automated detection of estrus in dairy cows[J]. Theriogenology, 2014, 82(5): 734-741.

53
DOLECHECK K A, SILVIA W J, HEERSCHE G, et al. Behavioral and physiological changes around estrus events identified using multiple automated monitoring technologies[J]. Journal of dairy science, 2015, 98(12): 8723-8731.

54
蒋晓新, 刘炜, 魏星远, 等. 运用计步器鉴定泌乳盛期荷斯坦奶牛的发情效果研究[J]. 安徽农业科学, 2013, 41(15): 6728-6729, 6732.

JIANG X X, LIU W, WEI X Y, et al. Study on the effects of identifying the estrus of Holstein cows during peak lactation by using pedometer[J]. Journal of Anhui agricultural sciences, 2013, 41(15): 6728-6729, 6732.

55
寇红祥, 李蓝祁, 王振玲, 等. 牛发情期活动量与阴道黏液电阻值变化规律的研究[J]. 畜牧兽医学报, 2017, 48(7): 1221-1228.

KOU H X, LI L Q, WANG Z L, et al. Study on the regulations of activity and vaginal electrical resistance of cattle during the estrous cycle[J]. Chinese journal of animal and veterinary sciences, 2017, 48(7): 1221-1228.

56
曹学浩, 黄善琦, 马树刚, 等. 活动量监测技术的研究及其在奶牛繁殖管理中的应用[J]. 中国奶牛, 2013(8): 37-40.

CAO X H, HUANG S Q, MA S G, et al. Applications of activity monitoring technology in dairy cattle breeding management[J]. China dairy cattle, 2013(8): 37-40.

57
周正义. 肉牛发情期尾部活动量变化规律与预同期处理妊娠率分析[D]. 太谷: 山西农业大学, 2021.

ZHOU Z Y. Analysis on the variation of tail activity during estrus and the pregnancy rate of pre-synchronization treatment in beef cattle[D]. Taigu: Shanxi Agricultural University, 2021.

58
ZEBARI H M, RUTTER S M, BLEACH E C L. Characterizing changes in activity and feeding behaviour of lactating dairy cows during behavioural and silent oestrus[J]. Applied animal behaviour science, 2018, 206: 12-17.

59
孙保贵, 郭予伟, 陈茂学, 等. 奶牛运动量辅助发情诊断参数的研究[J]. 中国畜牧杂志, 2015, 51(13): 71-75.

SUN B G, GUO Y W, CHEN M X, et al. Study on estrus detection parameter based on activity record in lactating cows[J]. Chinese journal of animal science, 2015, 51(13): 71-75.

60
李尚汝, 张鑫玥, 孙雨坤, 等. 奶牛个体釆食量监测系统研究进展[J]. 动物营养学报, 2020, 32(11): 5075-5080.

LI S R, ZHANG X Y, SUN Y K, et al. Research progress of monitoring system for individual feed intake of dairy cows[J]. Chinese journal of animal nutrition, 2020, 32(11): 5075-5080.

61
张永根. 奶牛采食行为的智能化监测方法及其应用研究进展[J]. 饲料工业, 2020, 41(9): 1-6.

ZHANG Y G. Research progress on intelligent monitoring methods for monitoring feeding behavior of dairy cows[J]. Feed industry, 2020, 41(9): 1-6.

62
周雅婷, 许童羽, 陈春玲, 等. 基于神经网络算法的肉牛采食行为检测方法[J]. 沈阳农业大学学报, 2016, 47(6): 752-757.

ZHOU Y T, XU T Y, CHEN C L, et al. Detection method of beef cattle feeding behavior based on neural network algorithm[J]. Journal of Shenyang agricultural university, 2016, 47(6): 752-757.

63
PAHL C, HARTUNG E, MAHLKOW-NERGE K, et al. Feeding characteristics and rumination time of dairy cows around estrus[J]. Journal of dairy science, 2015, 98(1): 148-154.

64
CAIRO F C, PEREIRA L G R, CAMPOS M M, et al. Applying machine learning techniques on feeding behavior data for early estrus detection in dairy heifers[J]. Computers and electronics in agriculture, 2020, 179: ID 105855.

65
张曦宇, 宣传忠, 武佩, 等. 基于声信号的畜禽行为信息监测研究进展[J]. 黑龙江畜牧兽医, 2017(11): 63-68.

ZHANG X Y, XUAN C Z, WU P, et al. Review on monitoring technology for behaviors of livestock and poultry based on acoustic signals[J]. Heilongjiang animal science and veterinary medicine, 2017(11): 63-68.

66
SCHÖN P C, HÄMEL K, PUPPE B, et al. Altered vocalization rate during the estrous cycle in dairy cattle[J]. Journal of dairy science, 2007, 90(1): 202-206.

67
YEON S C, JEON J H, HOUPT K A, et al. Acoustic features of vocalizations of Korean native cows (Bos Taurus coreanea) in two different conditions[J]. Applied animal behaviour science, 2006, 101(1/2): 1-9.

68
WANG J, CHEN H R, WANG J P, et al. Identification of oestrus cows based on vocalisation characteristics and machine learning technique using a dual-channel-equipped acoustic tag[J]. animal, 2023, 17(6): ID 100811.

69
闫丽, 邵庆, 吴晓梅, 等. 基于偏度聚类的哺乳期母猪声音特征提取与分类识别[J]. 农业机械学报, 2016, 47(5): 300-306.

YAN L, SHAO Q, WU X M, et al. Feature extraction and classification based on skewness clustering algorithm for lactating sow[J]. Transactions of the Chinese society for agricultural machinery, 2016, 47(5): 300-306.

70
姚绪新. 宁夏贺兰山岩羊发情期行为与其社群状态关系[D]. 哈尔滨: 东北林业大学, 2018.

YAO X X. The relationship between the behavior and the social status of blue sheep (pesudois nayaur) in Helan mountains[D]. Harbin: Northeast Forestry University, 2018.

71
黄福任, 贾博, 徐洪东, 等. 母羊发情声音数字化识别模型的建立[J]. 中国畜牧杂志, 2019, 55(12): 8-12.

HUANG F R, JIA B, XU H D, et al. Establishment of digital recognition model for ewe estrus sound[J]. Chinese journal of animal science, 2019, 55(12): 8-12.

72
WANG Z, HUA Z X, WEN Y C, et al. E-YOLO: Recognition of estrus cow based on improved YOLOv8n model[J]. Expert systems with applications, 2024, 238: ID 122212.

73
谢忠红, 刘悦怡, 宋子阳, 等. 基于时序运动特征的奶牛爬跨行为识别研究[J]. 南京农业大学学报, 2021, 44(1): 194-200.

XIE Z H, LIU Y Y, SONG Z Y, et al. Research on recognition of crawling behavior of cows based on temporal motion features[J]. Journal of Nanjing agricultural university, 2021, 44(1): 194-200.

74
GU J Q, WANG Z H, GAO R H, et al. Cow behavior recognition based on image analysis and activities[J]. International journal of agricultural and biological engineering, 2017, 10(3): 165-174.

75
YANG C J, LIN Y H, PENG S Y. Develop a video monitoring system for dairy estrus detection at night[C]// 2017 International Conference on Applied System Innovation (ICASI). Piscataway, New Jersey, USA: IEEE, 2017: 1900-1903.

76
蔡兆晖, 林学杰. 基于机器视觉的奶牛发情行为视频监测算法研究[J]. 当代畜禽养殖业, 2021(3): 28-30.

CAI Z H, LIN X J. Research on a video monitoring algorithm for cow estrus behavior based on machine vision[J]. Modern animal husbandry, 2021(3): 28-30.

77
CHOWDHURY S, VERMA B, ROBERTS J, et al. Deep learning based computer vision technique for automatic heat detection in cows[C]// 2016 International Conference on Digital Image Computing: Techniques and Applications (DICTA). Piscataway, New Jersey, USA: IEEE, 2016.

78
WANG R, GAO R H, LI Q F, et al. A lightweight cow mounting behavior recognition system based on improved YOLOv5s[J]. Scientific reports, 2023, 13(1): ID 17418.

79
LODKAEW T, PASUPA K, LOO C K. CowXNet: An automated cow estrus detection system[J]. Expert systems with applications, 2023, 211: ID 118550.

80
ARıKAN İ, AYAV T, SEÇKIN A Ç, et al. Estrus detection and dairy cow identification with cascade deep learning for augmented reality-ready livestock farming[J]. Sensors, 2023, 23(24): ID 9795.

81
WANG R, BAI Q, GAO R H, et al. Oestrus detection in dairy cows by using atrous spatial pyramid and attention mechanism[J]. Biosystems engineering, 2022, 223: 259-276.

82
田富洋, 王冉冉, 刘莫尘, 等. 基于神经网络的奶牛发情行为辨识与预测研究[J]. 农业机械学报, 2013, 44(S1): 277-281.

TIAN F Y, WANG R R, LIU M C, et al. Oestrus detection and prediction in dairy cows based on neural networks[J]. Transactions of the Chinese society for agricultural machinery, 2013, 44(S1): 277-281.

83
FAUVEL K, MASSON V, FROMONT É, et al. Towards sustainable dairy management - A machine learning enhanced method for estrus detection[C]// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York, USA: ACM, 2019: 3051-3059.

84
HIGAKI S, MIURA R, SUDA T, et al. Estrous detection by continuous measurements of vaginal temperature and conductivity with supervised machine learning in cattle[J]. Theriogenology, 2019, 123: 90-99.

85
PEREZ MARQUEZ H J, AMBROSE D J, SCHAEFER A L, et al. Evaluation of infrared thermography combined with behavioral biometrics for estrus detection in naturally cycling dairy cows[J]. Animal, 2021, 15(7): ID 100205.

86
HIGAKI S, OKADA H, SUZUKI C, et al. Estrus detection in Tie-stall housed cows through supervised machine learning using a multimodal tail-attached device[J]. Computers and electronics in agriculture, 2021, 191: ID 106513.

87
YILDIZ A K, OZGUVEN M M. Determination of estrus in cattle with artificial neural networks using mobility and environmental data[J]. Gaziosmanpasa universitesi ziraat fakultesi dergisi, 2022, 39(1):40-45.

88
KIM D, KWON W S, HA J, et al. Increased accuracy of estrus prediction using ruminoreticular biocapsule sensors in Hanwoo (Bos Taurus coreanae) cows[J]. Journal of animal science and technology, 2023, 65(4): 759-766.

89
MORTAZAVIS N, MOHTASEBIS S, SOLTANI M,et al. Feasibility study of dairy cow estrus detection based on milk using electronic nose system[J]. Journal of researches in mechanics of agricultural machinery, 2023, 12(1): fa83-fa94.

90
CHEON S N, PARK G W, PARK K H, et al. Peri-estrus activity and mounting behavior and its application to estrus detection in Hanwoo (Korea Native Cattle)[J]. Journal of animal science and technology, 2023, 65(4): 748-758.

91
ATREY P K, HOSSAIN M A, SADDIK AEL, et al. Multimodal fusion for multimedia analysis: A survey[J]. Multimedia systems, 2010, 16(6): 345-379.

92
RAMACHANDRAM D, TAYLOR G W. Deep multimodal learning: A survey on recent advances and trends[J]. IEEE signal processing magazine, 2017, 34(6): 96-108.

93
BALTRUSAITIS T, AHUJA C, MORENCY L P. Multimodal machine learning: A survey and taxonomy[J]. IEEE transactions on pattern analysis and machine intelligence, 2019, 41(2): 423-443.

文章导航

/