BERT

臉書AI研究院日前聯手喬治亞理工學院、奧勒岡州立大學，用12個資料集訓練一套ViLBERT模型，不只可用來解決不同類型的電腦視覺與自然語言任務，參數還從30億個減少至2.7億個，準確度平均提升2分。另一方面，為更精準掌握景氣循環，國發會研擬開發一套景氣循環AI預警系統。此外，由國發會成率領民間團體成立的國家級投資公司台杉投資，明年計畫成立AI科技基金，同時要吸引國外AI技術團隊在臺成立研發中心。臉書...

View Article

Image may be NSFW.
Clik here to view.

微軟開源以ONNX Runtime加速BERT模型的最佳化成果

January 22, 2020, 11:10 pm

借助ONNX Runtime，開發人員可以在CPU和GPU上高效地執行大型Transformer模型微軟ONNXBERT自然語言處理

View Article

Image may be NSFW.
Clik here to view.

AI趨勢周報第124期：整合產官學各界資源，全球最大機器可讀的武漢肺炎資料集開源釋出

March 18, 2020, 9:34 pm

AI2攜手白宮、美國國衛院、微軟及其他組織，共同釋出武漢肺炎開放研究資料集（簡稱CORD-19），內含2萬9千多篇新冠病毒相關論文。Kaggle也同時舉辦CORD-19挑戰賽，要開發者以文字探勘從中找出洞察。另一方面，義大利博科尼大學發表BERTLang網站，提供特定語言的BERT模型和mBERT模型間的評比。Google發表JAX函式庫Neural Tangents，要來打開AI黑盒子。...

View Article

Image may be NSFW.
Clik here to view.

Google開源可分析表格資料回答自然語言問題的AI技術

May 3, 2020, 9:35 pm

Google用來解析表格資料的新技術，擴展自BERT模型，可將自然語言問題與表格結構編碼，輸出可計算問題結果的過程googleBERT表格

View Article

Image may be NSFW.
Clik here to view.

Google推出用於可方便探索武漢肺炎科學文獻的工具

May 5, 2020, 8:55 pm

新推出的生物醫學文獻探索工具，應用語義搜尋技術良好理解查詢的背後意義，而非僅是進行術語配對google武漢肺炎BERT

View Article

Image may be NSFW.
Clik here to view.

臉書開發新模型TaBERT可理解自然語言並從表格查資料

July 6, 2020, 9:40 pm

研究人員利用大量表格資料以及相關的自然語言句子訓練TaBERT，因此TaBERT能夠理解自然語言查詢，並從表格查到答案臉書模型BERT

View Article

Image may be NSFW.
Clik here to view.

AI趨勢周報第142期：推理能力新突破！OpenAI新作GPT-f能自動證明數學定理

September 16, 2020, 8:59 pm

OpenAI先前才釋出具1,750億個參數的超大自然語言預訓練模型GPT-3，最近又發表一款模型GPT-f，能以形式化語言Metamath自動證明數學定理；另一方面，Nviida日前在醫療影像醫器學習年會中，揭露一套醫療語音辨識模型Bio-Megatron，可聽懂病患說出的臨床單字，並對應到標準化的健康資料庫中。自然語言自動定理證明BERT語音辨識邊緣裝置AIIT周報

View Article

Image may be NSFW.
Clik here to view.

AI趨勢周報第144期：16支辨識引擎打造數位布片資料庫，臺新創要當紡織界Google Search

September 30, 2020, 1:32 am

臺灣新創Frontier以16支引擎打造紡織雲平臺，也就是一套數位布片資料庫，來解決紡織業數位化痛點。他們以AWS和其他辨識引擎來自動辨識、校正、降噪和貼標紡織業者上傳的布片，所有流程只需3分鐘；Google新NLP模型就算比BERT少300倍的參數，也能達到相同水準。AI紡織辨識NLPBERT自拍無人機IT周報

View Article

Image may be NSFW.
Clik here to view.

生產數據上鏈再靠AI輔助申報，臺灣鯛加工廠全球第一家遠端稽核獲得世界級水產養殖認證

March 15, 2021, 2:21 am

要取得全球廣泛認可的國際認證，才能將辛苦種植、養殖的農漁產品出口國際，甚至是上架國際大型連鎖超商！但對農漁民來講，要通過國際認證很困難，甚至要花費一年以上的準備時間。工研院看到這個痛點，協助業者將生產數據上鏈、用AI輔助申報，將資料準備時間縮短一半知識圖譜BERT語意理解工研院農業漁業出口國際認證BAPGGAP區塊鏈遠端稽核

View Article

Image may be NSFW.
Clik here to view.

AI趨勢周報第163期：連假風景區塞車好難逛？南投縣政府用影像辨識AI打造壅塞預警系統

April 2, 2021, 12:56 am

南投縣政府聯手電信業者，在雙龍瀑布入口路段架設攝影機，以影像辨識AI打造車流壅塞預警系統；南投交警如何用AI揪出偷跑砂石車？中華電信解密；中文版GPT-3來了，中國發布參數破億的超大中文預訓練模型，表現堪比GPT-3； GPT-3也有理解力！MIT新方法讓GPT理解力媲美BERT。車流壅塞預警砂石車違規影像辨識GPT-3BERTIT周報

View Article

Image may be NSFW.
Clik here to view.

疫情假新聞滿天飛，Line如何用AI加速事實查核？

July 19, 2021, 8:33 pm

Line臺灣兩年前就聯手行政院和4家事實查核機構，成立訊息查證中心，來提供正確的新聞資訊。面對疫情間湧出的大量待查核新聞，Line用兩套NLP模型來加速，一套SBERT用來比對文章近似度，判斷是否為已查核的新聞，若未查核，就用另一套ELECTRA來自動分類文章，派送給領域專家查證。LineNLP事實查核假新聞BERTTransformer一起抗疫靠IT

View Article

Image may be NSFW.
Clik here to view.