神经网络与机器学习（原书第3版）_在线百科全书查询
神经网络与机器学习（原书第3版）
基本信息
原书名： Neural Networks and Learning Machines (3rd Edition)
原出版社： Prentice Hall
作者： (加)Simon Haykin
译者： 申富饶 徐烨 郑俊 晁静
丛书名： 计算机科学丛书
出版社：机械工业出版社
ISBN：9787111324133
上架时间：2011-3-2
出版日期：2011 年3月
开本：16开
页码：572
版次：3-1
内容简介
本书是关于神经网络的全面的、彻底的、可读性很强的、最新的论述。全书共15章，主要内容包括rosenblatt感知器、通过回归建立模型、最小均方算法、多层感知器、核方法和径向基函数网络、支持向量机、正则化理论、主分量分析、自组织映射、信息论学习模型、动态规划、神经动力学、动态系统状态估计的贝叶斯滤波等。
本书适合作为高等院校计算机相关专业研究生及本科生的教材，也可供相关领域的工程技术人员参考。
目录
出版者的话
译者序
前言
缩写和符号
术语
第0章导言1
0.1什么是神经网络1
0.2人类大脑4
0.3神经元模型7
0.4被看作有向图的神经网络10
0.5反馈11
0.6网络结构13
0.7知识表示14
0.8学习过程20
0.9学习任务22
0.10结束语27
注释和参考文献27
第1章rosenblatt感知器28
1.1引言28
1.2感知器28
.1.3感知器收敛定理29
1.4高斯环境下感知器与贝叶斯分类器的关系33
1.5计算机实验：模式分类36
1.6批量感知器算法38
1.7小结和讨论39
注释和参考文献39
习题40
第2章通过回归建立模型28
2.1引言41
2.2线性回归模型：初步考虑41
2.3参数向量的最大后验估计42
2.4正则最小二乘估计和map估计之间的关系46
2.5计算机实验：模式分类47
2.6最小描述长度原则48
2.7固定样本大小考虑50
2.8工具变量方法53
2.9小结和讨论54
注释和参考文献54
习题55
第3章最小均方算法56
3.1引言56
3.2lms算法的滤波结构56
3.3无约束最优化：回顾58
3.4维纳滤波器61
3.5最小均方算法63
3.6用马尔可夫模型来描画lms算法和维纳滤波器的偏差64
3.7朗之万方程：布朗运动的特点65
3.8kushner直接平均法66
3.9小学习率参数下统计lms学习理论67
3.10计算机实验ⅰ：线性预测68
3.11计算机实验ⅱ：模式分类69
3.12lms算法的优点和局限71
3.13学习率退火方案72
3.14小结和讨论73
注释和参考文献74
习题74
第4章多层感知器77
4.1引言77
4.2一些预备知识78
4.3批量学习和在线学习79
4.4反向传播算法81
4.5异或问题89
4.6改善反向传播算法性能的试探法90
4.7计算机实验：模式分类94
4.8反向传播和微分95
4.9hessian矩阵及其在在线学习中的规则96
4.10学习率的最优退火和自适应控制98
4.11泛化102
4.12函数逼近104
4.13交叉验证107
4.14复杂度正则化和网络修剪109
4.15反向传播学习的优点和局限113
4.16作为最优化问题看待的监督学习117
4.17卷积网络126
4.18非线性滤波127
4.19小规模和大规模学习问题131
4.20小结和讨论136
注释和参考文献137
习题138
第5章核方法和径向基函数网络144
5.1引言144
5.2模式可分性的cover定理144
5.3插值问题148
5.4径向基函数网络150
5.5k-均值聚类152
5.6权向量的递归最小二乘估计153
5.7rbf网络的混合学习过程156
5.8计算机实验：模式分类157
5.9高斯隐藏单元的解释158
5.10核回归及其与rbf网络的关系160
5.11小结和讨论162
注释和参考文献164
习题165
第6章支持向量机168
6.1引言168
6.2线性可分模式的最优超平面168
6.3不可分模式的最优超平面173
6.4使用核方法的支持向量机176
6.5支持向量机的设计178
6.6xor问题179
6.7计算机实验:模式分类181
6.8回归：鲁棒性考虑184
6.9线性回归问题的最优化解184
6.10表示定理和相关问题187
6.11小结和讨论191
注释和参考文献192
习题193
第7章正则化理论197
7.1引言197
7.2良态问题的hadamard条件198
7.3tikhonov正则化理论198
7.4正则化网络205
7.5广义径向基函数网络206
7.6再论正则化最小二乘估计209
7.7对正则化的附加要点211
7.8正则化参数估计212
7.9半监督学习215
7.10流形正则化：初步的考虑216
7.11可微流形217
7.12广义正则化理论220
7.13光谱图理论221
7.14广义表示定理222
7.15拉普拉斯正则化最小二乘算法223
7.16用半监督学习对模式分类的实验225
7.17小结和讨论227
注释和参考文献228
习题229
第8章主分量分析232
8.1引言232
8.2自组织原则232
8.3自组织的特征分析235
8.4主分量分析：扰动理论235
8.5基于hebb的最大特征滤波器241
8.6基于hebb的主分量分析247
8.7计算机实验：图像编码251
8.8核主分量分析252
8.9自然图像编码中的基本问题256
8.10核hebb算法257
8.11小结和讨论260
注释和参考文献262
习题264
第9章自组织映射268
9.1引言268
9.2两个基本的特征映射模型269
9.3自组织映射270
9.4特征映射的性质275
9.5计算机实验ⅰ：利用som解网格动力学问题280
9.6上下文映射281
9.7分层向量量化283
9.8核自组织映射285
9.9计算机实验ⅱ：利用核som解点阵动力学问题290
9.10核som和相对熵之间的关系291
9.11小结和讨论293
注释和参考文献294
习题295
第10章信息论学习模型299
10.1引言299
10.2熵300
10.3最大熵原则302
10.4互信息304
10.5相对熵306
10.6系词308
10.7互信息作为最优化的目标函数310
10.8最大互信息原则311
10.9最大互信息和冗余减少314
10.10空间相干特征316
10.11空间非相干特征318
10.12独立分量分析320
10.13自然图像的稀疏编码以及与ica编码的比较324
10.14独立分量分析的自然梯度学习326
10.15独立分量分析的最大似然估计332
10.16盲源分离的最大熵学习334
10.17独立分量分析的负熵最大化337
10.18相关独立分量分析342
10.19速率失真理论和信息瓶颈347
10.20数据的最优流形表达350
10.21计算机实验：模式分类354
10.22小结和讨论354
注释和参考文献356
习题361
第11章植根于统计力学的随机方法366
11.1引言366
11.2统计力学367
11.3马尔可夫链368
11.4metropolis算法374
11.5模拟退火375
11.6gibbs抽样377
11.7boltzmann机378
11.8logistic信度网络382
11.9深度信度网络383
11.10确定性退火385
11.11和em算法的类比389
11.12小结和讨论390
注释和参考文献390
习题392
第12章动态规划396
12.1引言396
12.2马尔可夫决策过程397
12.3bellman最优准则399
12.4策略迭代401
12.5值迭代402
12.6逼近动态规划：直接法406
12.7时序差分学习406
12.8q学习410
12.9逼近动态规划：非直接法412
12.10最小二乘策略评估414
12.11逼近策略迭代417
12.12小结和讨论419
注释和参考文献421
习题422
第13章神经动力学425
13.1引言425
13.2动态系统426
13.3平衡状态的稳定性428
13.4吸引子432
13.5神经动态模型433
13.6作为递归网络范例的吸引子操作435
13.7hopfield模型435
13.8cohen-grossberg定理443
13.9盒中脑状态模型445
13.10奇异吸引子和混沌448
13.11混沌过程的动态重构452
13.12小结和讨论455
注释和参考文献457
习题458
第14章动态系统状态估计的贝叶斯滤波461
14.1引言461
14.2状态空间模型462
14.3卡尔曼滤波器464
14.4发散现象及平方根滤波469
14.5扩展的卡尔曼滤波器474
14.6贝叶斯滤波器477
14.7数值积分卡尔曼滤波器:基于卡尔曼滤波器480
14.8粒子滤波器484
14.9计算机实验：扩展的卡尔曼滤波器和粒子滤波器对比评价490
14.10大脑功能建模中的
卡尔曼滤波493
14.11小结和讨论494
注释和参考文献496
习题497
第15章动态驱动递归网络501
15.1引言501
15.2递归网络体系结构502
15.3通用逼近定理505
15.4可控性和可观测性507
15.5递归网络的计算能力510
15.6学习算法511
15.7通过时间的反向传播512
15.8实时递归学习515
15.9递归网络的消失梯度519
15.10利用非线性逐次状态估计的递归网络监督学习框架521
15.11计算机实验：mackay-glass吸引子的动态重构526
15.12自适应考虑527
15.13实例学习：应用于神经控制的模型参考529
15.14小结和讨论530
注释和参考文献533
习题534
参考文献538
译者序
从20世纪40年代M-P神经元模型的提出开始，神经网络的发展过程可谓是一波三折。1965年M.Minsky和S.Papert的《感知机》使得神经网络的研究停滞了超过10年，直到20世纪80年代初Hopfield网络和误差反向传播算法等的提出，神经网络的研究才步入恢复期。时至今日，神经网络系统研究的重要意义已经得到广泛承认，在模式识别、人工智能、通信、控制、金融、机器人、生物信息学等许多领域都有广泛应用。可以说神经网络作为目前非线性科学和计算智能研究的主要内容之一，已经成为解决很多实际问题的一种必要的技术手段。
本书作者Simon Haykin长期从事神经网络的研究，其关于神经网络的系列教材是国际上最有影响力的教材之一。本书是其经典教材《Neural Networks:A Comprehensive Foundation》的第3版。正如本书的题目所示，这一版对神经网络和机器学习这两个密切相关的分支进行了全面分析，在前一版的基础上作了广泛修订，提供了神经网络和机器学习这两个重要性持续增长的学科的最新分析。本书全面、系统地介绍了神经网络的基本模型、基本方法，对神经网络的基本模型和主要学习理论作了深入研究，对神经网络的最新发展趋势和主要研究方向进行了全面而综合的介绍。
在翻译过程中，译者常常为本书作者严谨的治学态度及本书博大精深的内容而赞叹不已。本书综合了诸多神经网络和机器学习的最新研究，在翻译过程中虽然力求准确地反映原著内容，但由于译者水平有限，翻译中如有错漏之处，恳请读者批评指正。
本书的翻译得到了国家自然科学基金的资助（项目编号60975047），特此表示感谢。同时，感谢参与本书翻译的全体人员，没有他们的辛勤工作，本书的中文译本是无法顺利完成的；感谢本书第2版（《神经网络原理》）的译者，在翻译过程中我们大量参考了第2版中文译本的内容；还要感谢南京大学计算机软件新技术国家重点实验室的支持。
南京大学计算机科学与技术系
计算机软件新技术国家重点实验室
申富饶
2010年10月于南京
