
Kunihiko Fukushima(福岛邦彦,日本,1939 年生)在 卷积神经网络的真正先驱 领域的位置,很少有人能给出准确坐标。他在 1980 年就造出了今天所有图像识别网络的直系祖先,而这位被公认为「卷积网络之父」的人,在三十多年里几乎从主流文献中消失,直到深度学习崛起后才被重新找到。
一、问题一:怎么让机器看懂图像——1980 年:Neocognitron,以及一篇被长期忽略的论文
1960 年,这个坐标决定了 Kunihiko Fukushima 早年接触到的语汇。Kunihiko Fukushima 在这里最初接触的是 生于东京;他在东京工业大学完成电气工程本科与硕士学业,博士阶段转向人体工程学,研究工效学方向;1969 年进入日本广播工业株式会社(NHK)技术研究部,这套底层训练后来成了 Kunihiko Fukushima 处理 卷积神经网络的真正先驱 问题时最本能的工具箱。
他选择人体工程学作为博士方向,出发点相当务实:当时日本工业界正大量引进生产线,疲劳与作业效率成为实际课题,人因工程因此成为热门。
这项训练在他日后的卷积网络工作中留下了明确痕迹——他的 Neocognitron 论文大量引用人体视觉系统的神经生理学发现,而不是引用工程惯例。
他在 NHK 的研究工作涉及图像与信号处理,让他得以直接面对「如何让机器从像素里认出错的东西」这个问题。
他在 1975 年前后开始一项由日本通产省资助的长期研究计划,目标是制造一台智能视觉机器——这比卷积网络本身早了五年。
他后来说过,驱动他转向神经网络的不是某篇论文,而是他意识到「生物视觉系统能做到的事,机器在原理上也应该能做到」。
二、1939 年的东京,与一个从神经学转向工程的转折
发表《Neocognitron:一个用于模式识别启发式自组织网络》,提出用多层无监督学习结构逐级提取特征 落在 1980 年。核心机制是 核心机制是:模仿视觉皮层简单细胞与复杂细胞的两层结构,第一层提取局部边缘特征,第二层把边缘组合成更高阶的特征,且整个结构可以从样本中自己学出来、不需要人工标注,但真正的意义不在机制本身——在于 这份设计在结构上与二十多年后取得统治地位的卷积神经网络几乎一致——卷积、局部连接、层级特征提取、共享权重,四项关键要素全部具备。
论文标题中的「启发式自组织」在今天读来是关键线索:它明确说明该网络的学习方式不依赖反向传播,而靠的是一种他自己设计的 Hebbian 型局部学习规则。
网络在两个任务上验证:手写数字识别,以及一个当时颇有影响的「人脸位置判断」任务——后者被后来的研究者指出,与后來的 Neocognitron 论文构成一组对照。
在数据表示上,它使用一种重叠的固定尺寸图像块,而非完全连接,因此具备平移不变性——这正是卷积网络的标志性特征。
论文中对视觉皮层的引用非常具体:简单细胞对应局部特征提取,复杂细胞对应位置不变的组合,论文中甚至给出了与生理学数据对比的示意图。
它的训练效率极低,远不能与后来的实现相比,且没有反向传播、没有梯度、没有现代意义上的优化器——这些工程缺陷在它所处的年代是致命的。
三、1990 年代:一台自己造的大机器,和一个被时代挤走的领域
1990 年前后,Kunihiko Fukushima 在 日本广播工业株式会社做的是 在 NHK 主导研制大规模并行模拟型视觉处理硬件系统「NEC-VISIT」,并把 Neocognitron 架构实现在专用硬件上。这件事的技术核心是 核心动机是:通用计算机跑不动这个网络,而当时的算力不够模拟生物视觉系统,因此必须自建专用硬件,而它之所以重要,在于 这台机器在专用视觉计算上取得了当时国际领先的水平,也使日本在 1990 年代成为世界神经网络硬件研究的中心之一。
NEC-VISIT 的规模在当时相当可观,它由大量处理单元组成,用于模拟包含数十万个神经元的网络。
这个项目的组织形态是典型的日本大型企业研究模式:由国家项目资助、企业提供工程资源、跨多个研究部门协作。
他在这一时期还把研究扩展到多个方向:手写文字识别、面部特征提取、以及视觉系统的鲁棒性分析。
1995 年前后他开始把 Neocognitron 与当时兴起的「细胞自动机」和「神经场理论」结合起来,试图为视觉信息处理提供更完整的数学描述。
日本在这段时间里的大量研究成果后来被称为「第五代计算机」计划的一部分,但该计划在 1992 年被终止——这直接改变了日本神经网络研究的资源格局。
四、问题二:先驱的成果该归谁——2003-2009 年:被算力时代抛下的一段路
这里有一个不能略过的争议:在深度学习全面接管之前,神经网络研究界的主流判断是:反向传播加梯度优化才是可扩展的学习方法,而基于局部学习规则的网络无法处理复杂任务。Kunihiko Fukushima 后来在多个场合解释过为什么 他并不接受这个判断:他的理由是生物神经系统在没有全局误差信号的情况下同样完成了极其复杂的识别,因此「必须有反向传播」更像是一种工程惯性而非本质约束,并为 这段时间他的工作被主流期刊与会议体系排在边缘,引用极少,而他自己持续在同一条线上推进,学术影响力与他工作的原创性明显不匹配 付出了具体代价。
2003 年前后,他进一步发展了「位置特定性」假设,把 Neocognitron 与更早的 Cognitron 放在同一框架下比较,指出多尺度与位置不变性处理才是关键。
这一时期他与他人合作提出的「基于位置的相似性度量」在图像检索上有应用,但影响力有限。
2011 年前后深度学习在图像识别上的突破迅速扩散,同行开始重新审视早期工作,他的方法结构与后来的卷积网络相似度被反复指出。
他本人对这段时期的评价相当平静:多次表示自己从未认为自己的工作会主导后来的技术方向,他关心的是生物视觉系统如何工作这个问题本身。
五、2018-2019 年:正名,以及一个持续在扩大的引用
2018 年,Kunihiko Fukushima 加入 日本国立信息学研究所,把 NHK 技术研究部神经计算与大规模并行视觉系统的研究阶段 时期积累的 亲手设计并运行过的专用并行硬件系统,以及把视觉皮层机制逐条翻译成可计算结构的完整训练 带进了 在通用计算资源与深度学习工具链的冲击下,如何让「从生物机制出发」这一研究方法继续成立 这条全新战线。这也是 Kunihiko Fukushima 第一次需要在工程约束下做取舍。
他的 1980 年论文在他生前最后十年里的引用量出现了显著增长,这一曲线本身成了科学史上「被重新发现」的典型案例。
2018 年前后 IEEE 向他颁发了与神经网络相关的先驱表彰,同期 IEEE Signal Processing 杂志还专门刊出了纪念他工作的专辑。
他撰写的长篇综述把 Cognitron、Neocognitron、以及后来各类卷积网络放在同一时间轴上比较,成为这一主题最重要的文献之一。
他晚年持续在做的事情是「从神经生理学推导网络结构」:先问生物系统怎么解决某个任务,再问能不能把这个机制翻译成可计算的形式。
他对深度学习的评价是有保留的:认为今天主流方法的成功很大程度上来自工程规模与算力,而不是来自对生物机制的精确还原——这个判断在他的综述中反复出现。
六、他收到的那个正名:一个提醒——先驱未必在中心
IEEE 关于神经网络与视觉先驱工作的专门表彰(2019)之后,Kunihiko Fukushima 的工作重心转向 推动以生物视觉机制为出发点的网络设计研究,并参与建立该方向的国际学术共同体。这条线的意义在于 使「卷积网络的思想来源于生物视觉系统」这一事实成为该领域公开讨论的常识。
他的经历让「贡献被算在谁头上」成为一个可以具体讨论的案例:反向传播路线上的研究者通常不被认为是卷积思想的发明者,而这一区分在 2010 年代之前并不存在争议。
他在多次访谈中强调过一件常被忽略的事:他自己早期的工作也走过弯路,Neocognitron 在多个方向上的尝试有成功也有失败,这种记录本身对理解该领域有帮助。
他与后来的深度学习研究者之间形成了一种少见的良性关系——双方都指出对方工作的独特性,而不是争夺优先权。
他的研究路径从工程学出发、经由人体工程学、进入神经生理学,再回到计算建模,这一跨越本身说明:一个想法的来源常常在主流学科之外。
他留给这个领域最有价值的遗产,是一批经过仔细对照的生物视觉模型与人工网络之间的映射表——这份对照表至今仍是设计新网络结构时最常被引用的参考之一。
参考来源
- Kunihiko Fukushima,「Neocognitron: An Exploratory Design of a New Self-Organizing Neural Network Architecture」, 1980
- Kunihiko Fukushima,「The Neocognitron: A New Self-Organizing Neural Network Architecture」相关综述, 1988
- Kunihiko Fukushima,「A Path Towards Autonomous Machine Intelligence with the Neocognitron」, 2007
- IEEE Signal Processing Magazine 关于 Fukushima 先驱工作的专刊与表彰公告
- NHK 技术研究部关于 NEC-VISIT 并行视觉系统的公开资料