Mar 12, 2022請給我黃金 — 關於面試寫在前面 我在去年九月去了新加坡工作,在 SMU 的 LARC 研究中心當研究工程師,主要是做 Singlish (新加坡式英文)相關的研究跟開發。 去那邊的本來目的,是為了為自己的 PhD 申請做準備,累積研究經驗,發點論文啥的,就像去中研院工作一樣,還可以順便練個英文,習慣國外生活等等。 後來卻發現自己對於要再花五年念個學位,並忍受某種相對不穩定的物 …Interview11 min readInterview11 min read
Mar 20, 2021圖神經網路怎麼這麽棒 — How Powerful are Graph Neural Networks寫在前面 在結束四個月的拖更之後,決定來介紹我目前最喜歡的一篇論文,畢竟遇到瓶頸時,就要來回味一下最初的感動。這篇堪稱是我們(?) GNN 界最具指標性的論文之一,跟有夠難懂的 GCN,以及整理並將 Message Passing 整合在神經網路上的 MPNN 並列。 就像論文標題提到的,這篇的目的是想要解構, GNN 在解決問題時的能力以及一些限制,並以一 …Graph Neural Networks13 min readGraph Neural Networks13 min read
Oct 25, 2020Big Bird: Transformers for Longer Sequences寫在前面 當看到另一個芝麻街人物的時候,你可能會意識到:「啊,這又是一個 Google 出的 BERT 系列模型了。」 是的,這是 Google 最新出的論文,討論如何解決 BERT 在處理長文本時碰到的一些阻礙。雖然目前 (2020/10/26) 還只在 arXiv 上出現,但考量到它五十多頁的篇幅,應該是打算發在頂級期刊上的。 而為什麼「用 BERT 處理的長文 …NLP35 min readNLP35 min read