Popular science work
來自美國俄勒岡州立大學(xué)工程學(xué)院和Adobe公司的科學(xué)家攜手，開發(fā)出一種用于訓(xùn)練人工智能（AI）的新技術(shù)FairDeDup。該技術(shù)不僅能降低訓(xùn)練成本，而且有望減少AI系統(tǒng)的社會偏見。研究團(tuán)隊(duì)已經(jīng)在近期于美國西雅圖舉行的IEEE/CVF計(jì)算機(jī)視覺和模式識別會議大會上介紹了FairDeDup算法。該會議是由電子電氣工程師學(xué)會（IEEE）計(jì)算機(jī)協(xié)會和計(jì)算機(jī)視覺基金會（CVF）共同主辦的全球頂級學(xué)術(shù)會議。
FairDeDup是“公平重復(fù)數(shù)據(jù)消除”的縮寫，指從用于訓(xùn)練AI系統(tǒng)的數(shù)據(jù)中刪除冗余信息，從而大幅降低訓(xùn)練成本。研究人員表示，之所以將新方法命名為FairDeDup，也是因?yàn)樗诖饲耙环N具有成本效益的方法SemDeDup。SemDeDup可以用更少的資源對AI進(jìn)行訓(xùn)練。但這一過程會強(qiáng)化AI的社會偏見。在最新研究中，他們通過引入公平機(jī)制，對SemDeDup進(jìn)行了改進(jìn)，FairDeDup因此面世。
FairDeDup的工作原理是：通過一種名為“修剪”的過程，細(xì)化從網(wǎng)絡(luò)上收集的圖像字幕數(shù)據(jù)集。“修剪”指選擇能代表整個(gè)數(shù)據(jù)集的數(shù)據(jù)子集。該工具可以感知內(nèi)容，并決定保留或刪除哪些數(shù)據(jù)。結(jié)果顯示，FairDeDup刪除了冗余數(shù)據(jù)，同時(shí)結(jié)合了可控的、人為定義的多樣性維度，從而減少偏見。
