Activities
2018年5月31日-6月1日，由中國自動(dòng)化學(xué)會(huì)主辦的第五期智能自動(dòng)化學(xué)科前沿講習(xí)班在北京成功舉辦，此次講習(xí)班由中國自動(dòng)化學(xué)會(huì)副理事長、澳門大學(xué)講座教授陳俊龍和清華大學(xué)教授宋士吉共同擔(dān)任學(xué)術(shù)主任，此次講習(xí)班自發(fā)布通知日起，受到了相關(guān)領(lǐng)域全國各高校、企業(yè)的極大關(guān)注和踴躍報(bào)名，會(huì)議前兩天報(bào)名人數(shù)已達(dá)上限，達(dá)到講習(xí)班報(bào)名人數(shù)最高記錄，共200余位來自全國各高校、研究院所及企事業(yè)單位的參會(huì)代表參加了此次會(huì)議。
.jpg)
講習(xí)班開始由陳俊龍教授進(jìn)行致辭，陳俊龍教授首先對(duì)學(xué)會(huì)的歷史沿革和發(fā)展現(xiàn)狀進(jìn)行了簡要的介紹，并介紹了深度與寬度強(qiáng)化學(xué)習(xí)發(fā)展及應(yīng)用，在致辭最后陳俊龍教授表示衷心希望參加此次講習(xí)班的學(xué)員可以有所得、有所獲。
陳俊龍教授首先為大家?guī)眍}為“從深度強(qiáng)化學(xué)習(xí)到寬度強(qiáng)化學(xué)習(xí)：結(jié)構(gòu)，算法，機(jī)遇及挑戰(zhàn)”的報(bào)告，陳俊龍教授的報(bào)告主要討論強(qiáng)化學(xué)習(xí)的結(jié)構(gòu)及理論，包括馬爾科夫決策過程、強(qiáng)化學(xué)習(xí)的數(shù)學(xué)表達(dá)式、策略的構(gòu)建、估計(jì)及預(yù)測未來的回報(bào)，同時(shí)也在報(bào)告中討論如何用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)來穩(wěn)定學(xué)習(xí)過程及特征提取、如何利用寬度學(xué)習(xí)結(jié)構(gòu)跟強(qiáng)化學(xué)習(xí)結(jié)合。報(bào)告的最后陳教授指出了深度、寬度強(qiáng)化學(xué)習(xí)帶來的機(jī)遇與挑戰(zhàn)。
.png)
隨后為大家?guī)韴?bào)告的是清華大學(xué)宋士吉教授，宋教授的報(bào)告題目為“基于強(qiáng)化學(xué)習(xí)的深海機(jī)器人智能搜索與運(yùn)動(dòng)控制方法”，報(bào)告闡述了強(qiáng)化學(xué)習(xí)在深海機(jī)器人智能搜索與運(yùn)動(dòng)控制領(lǐng)域的算法研究及其應(yīng)用，從熱液羽狀流智能搜索與深海機(jī)器人運(yùn)動(dòng)控制兩個(gè)方面開展工作。在熱液羽狀流智能搜索方面，研究基于強(qiáng)化學(xué)習(xí)和遞歸網(wǎng)絡(luò)的羽狀流追蹤算法。利用傳感器采集到的流場與熱液信號(hào)信息，將機(jī)器人搜索熱液噴口的過程建模為狀態(tài)行為域連續(xù)的馬爾科夫決策過程，通過強(qiáng)化學(xué)習(xí)算法得到機(jī)器人艏向的最優(yōu)控制策略。在深海機(jī)器人運(yùn)動(dòng)控制方面，研究基于強(qiáng)化學(xué)習(xí)的軌跡跟蹤與最優(yōu)深度控制算法。在機(jī)器人系統(tǒng)模型未知的情況下，將控制問題建模成連續(xù)狀態(tài)動(dòng)作空間的馬爾可夫決策過程，并構(gòu)建評(píng)價(jià)網(wǎng)絡(luò)與策略網(wǎng)絡(luò)，通過確定性策略和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到最優(yōu)控制策略。
.png)
第一天下午第一個(gè)為大家?guī)韴?bào)告的是北京交通大學(xué)侯忠生教授，侯教授為大家?guī)淼膱?bào)告題目為“數(shù)據(jù)驅(qū)動(dòng)的自適應(yīng)學(xué)習(xí)控制”。報(bào)告主要分為四部分內(nèi)容，侯教授首先介紹了迭代軸上的學(xué)習(xí)控制和時(shí)間軸上的學(xué)習(xí)控制（即無模型自適應(yīng)控制），之后主要介紹了學(xué)習(xí)控制的統(tǒng)一框架及主要結(jié)論。
.png)
隨后由清華大學(xué)季向陽教授帶來題為“強(qiáng)化學(xué)習(xí)及智能控制與決策”的報(bào)告，季教授的報(bào)告主要介紹科研工作中與強(qiáng)化學(xué)習(xí)相關(guān)的工作，包括面向多智能體控制等的智能控制方法與決策等。
.png)
第一天的最后一個(gè)報(bào)告為西安交通大學(xué)陳霸東教授帶來的“核自適應(yīng)濾波與寬度學(xué)習(xí)”。核自適應(yīng)濾波器（Kernel Adaptive Filters）是近年來興起的在可再生核希爾伯特空間（RKHS）中實(shí)現(xiàn)的一類非線性自適應(yīng)濾波器，其拓?fù)浣Y(jié)構(gòu)為線性增長的單隱層神經(jīng)元網(wǎng)絡(luò)。其基本思想是：首先，將輸入信號(hào)映射到高維核空間；然后，在核空間中推導(dǎo)線性濾波算法；最后，利用核技巧（Kernel Trick）得到原信號(hào)空間中非線性濾波算法。與傳統(tǒng)非線性濾波器比較，核自適應(yīng)濾波器具有以下優(yōu)點(diǎn)：（a）如果選取嚴(yán)格正定的Mercer核函數(shù)，具有萬能逼近能力；（b）性能曲面在高維核空間中具有凸性，因此理論上不具局部極值；（c）隱節(jié)點(diǎn)由數(shù)據(jù)驅(qū)動(dòng)生成，減少了人工參與；（d）具有自正則性（Self-regularization），可有效防止過擬合。因此，核自適應(yīng)濾波概念提出以后引起了國內(nèi)外研究者廣泛興趣，越來越多的相關(guān)算法被提出，并被應(yīng)用到諸多領(lǐng)域。核自適應(yīng)濾波與最近興起的寬度學(xué)習(xí)（Broad Learning）關(guān)系密切，可以認(rèn)為是一類基于核方法的寬度學(xué)習(xí)算法。陳教授的報(bào)告深入系統(tǒng)地闡述了核自適應(yīng)濾波的基本思想、主要算法、性能分析、典型應(yīng)用，以及如何將其與寬度學(xué)習(xí)納入統(tǒng)一框架。
.png)
第二天首先為大家?guī)韴?bào)告的是中車株洲電力機(jī)車有限公司楊穎工程師，楊穎工程師的報(bào)告題目為“軌道交通車輛預(yù)測與健康管理（PHM）技術(shù)應(yīng)用”。報(bào)告首先對(duì)智慧列車進(jìn)行了簡要介紹，其次介紹了智慧列車總體方案及智慧列車PHM方案，報(bào)告的最后一部分楊穎工程師結(jié)合應(yīng)用實(shí)例介紹了基于PHM 的運(yùn)維方案。
.png)
中國科學(xué)院自動(dòng)化研究所趙冬斌研究員為大家?guī)眍}為“深度強(qiáng)化學(xué)習(xí)算法及應(yīng)用”的報(bào)告。將具有“決策”能力的強(qiáng)化學(xué)習(xí)和具有“感知”能力的深度學(xué)習(xí)相結(jié)合，形成深度強(qiáng)化學(xué)習(xí)方法，成為人工智能的主要方法之一。2013年，谷歌DeepMind團(tuán)隊(duì)提出了一類DRL方法，在視頻游戲上的效果接近或超過人類游戲玩家，成果發(fā)表在2015年的《Nature》上。2016年，相繼發(fā)表了所開發(fā)的基于DRL的圍棋算法AlphaGo，以4:1戰(zhàn)勝了世界圍棋冠軍和超一流圍棋選手李世石，使圍棋AI水平達(dá)到了一個(gè)前所未有的高度。2017年初，AlphaGo的升級(jí)程序Master，與60名人類頂級(jí)圍棋選手比賽獲得不敗的戰(zhàn)績。2017年10月，DeepMind團(tuán)隊(duì)提出了AlphaGo Zero，完全不用人類圍棋棋譜而完勝最高水平的AlphaGo，再次刷新了人們的認(rèn)識(shí)。并進(jìn)一步形成通用的Alpha Zero算法，超過最頂級(jí)的國際象棋和日本將棋AI。DRL在視頻游戲、棋類博弈、自動(dòng)駕駛、醫(yī)療等領(lǐng)域的應(yīng)用日益增多。趙冬斌研究員的報(bào)告介紹了強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)算法，以及在各個(gè)領(lǐng)域的典型應(yīng)用。
.png)
下午第一個(gè)為大家?guī)韴?bào)告的是浙江大學(xué)劉勇教授，劉勇教授的報(bào)告題目為“正則化深度學(xué)習(xí)及其在機(jī)器人環(huán)境感知中的應(yīng)用”。近年來，隨著人工智能技術(shù)的飛速發(fā)展，深度神經(jīng)網(wǎng)絡(luò)技術(shù)在圖像分析、語音識(shí)別、自然語言理解等難點(diǎn)問題中都取得了十分顯著的應(yīng)用成果。然而該技術(shù)在機(jī)器人感知領(lǐng)域的應(yīng)用相對(duì)而言仍然不夠成熟，主要源于深度學(xué)習(xí)往往需要大量的訓(xùn)練樣本來避免過擬合、提升泛化能力，從而降低其在測試樣本上的泛化誤差，而機(jī)器人環(huán)境感知中涉及的任務(wù)與環(huán)境具有多樣化特性，且嚴(yán)重依賴于機(jī)器人硬件平臺(tái)，因而難以針對(duì)機(jī)器人各感知任務(wù)提供大量標(biāo)注樣本；其次，對(duì)于解不唯一的病態(tài)問題，即使提供大量的訓(xùn)練數(shù)據(jù)，深度學(xué)習(xí)方法也難以在測試數(shù)據(jù)上提供理想的估計(jì)，而機(jī)器人感知任務(wù)中所涉及的距離估計(jì)、模型重構(gòu)等問題就是典型的病態(tài)問題，其輸入中沒有包含對(duì)應(yīng)到唯一輸出的足夠信息。針對(duì)上述問題，劉勇教授的報(bào)告以提升深度學(xué)習(xí)泛化能力為目標(biāo)、以嵌入先驗(yàn)知識(shí)的正則化方法為手段、以機(jī)器人環(huán)境感知為應(yīng)用背景進(jìn)行了詳細(xì)介紹。
.png)
下午第二個(gè)為大家?guī)韴?bào)告的是清華大學(xué)副教授游科友，報(bào)告題目為“分布式優(yōu)化算法與學(xué)習(xí)”。隨著訓(xùn)練參數(shù)與樣本規(guī)模的急激增長，深度學(xué)習(xí)在實(shí)際應(yīng)用系統(tǒng)中顯示出巨大的應(yīng)用前景。分布式與并行優(yōu)化是指通過多求解器來協(xié)作求解的一類優(yōu)化問題，其在大規(guī)模數(shù)值計(jì)算、機(jī)器學(xué)習(xí)、資源分配、傳感器網(wǎng)絡(luò)等有重要的研究意義和應(yīng)用價(jià)值，并成為了大規(guī)模優(yōu)化與學(xué)習(xí)中最具挑戰(zhàn)性的問題之一。報(bào)告首先討論了分布式優(yōu)化的幾個(gè)典型難點(diǎn)問題，其次以魯棒凸優(yōu)化為例，提出了分布式原-對(duì)偶求解算法與分布式Polyak算法，并嚴(yán)格證明了算法的有效性。
.png)
學(xué)會(huì)秘書處 供稿
