[轉帖] 每年减少3.7万亿美元的损失：利用文本分析进行欺诈检测

發佈於 InfoQ 上的文章

每年减少3.7万亿美元的损失：利用文本分析进行欺诈检测

文中提到 :

随着大数据时代的来领，大量欺诈行为相关的数据能够被获取，利用有效的机器学习方法对数据进行深入挖掘，可以有效地帮助欺诈行为检测。而根据注册舞弊审查师全国协会（NACFE）估计，80％以上有关欺诈的公司记录都是以文本数据的形式存在。80％的文本数据又都是非结构化的。因此，利用机器学习方法进行欺诈行为检测更多的是使用文本分析，文本分析可以帮助挖掘这些非结构化数据中所蕴含的信息，并提醒企业在公司财产丢失之前及时采取行动。

機器學習未來可以應用於許多不同領域，雖然一個領域有其侷限性，但是還是能夠根據它所

能做到的事情做許多不同的商業應用

[思考工具] 轉貼 - 跟過去的自己取經：用第二大腦高效率思考的系統方法

為了不侵犯版權

我想各位讀者可以前往原文

由 電腦玩物原創作者 esor huang（異塵行者）所撰寫的

跟過去的自己取經：用第二大腦高效率思考的系統方法

進行詳讀


這也是我最近正在思考的一些問題

有感於論文其實也是一種自己過往專業知識上的累積

但是為什麼這個知識雛形還不夠完善?

感覺對它的印象似乎還不夠深刻，並且成為身體的一部分

我想是整理的還不夠視覺化(個人是偏向視覺形思考類型)，資料也不夠方便搜尋


Steve Jobs 曾說 : 「Connecting the dots」

他現在的成就都是聯結過往的知識、交談、印象與經驗等等

最後完成了一個屬於他自己的知識圖譜

讓他自己成為一個完滿的人



本篇是為了完備日後自己的智慧軍火庫

於是特別將這篇紀錄下來

下一篇再繼續完成 機率與統計 和人生之間的關係

[MATLAB] 釋放不需要使用的記憶體

由於實驗處理數據上的需要

我需要連續對好幾張影像，進行讀取檔案，並進行處理完成之後

發現記憶體的資源卻依然被占用者沒有釋放出來

如果所需要處理的影像達到好幾GB，使用完之後卻沒有辦法進行卸貨的動作

佔用記憶體，卻不需要使用，實在是一件令人困擾的事情

看來大家都曾經有過相關的困擾

例如下面的文章

StackOverFlow : MatLab: How to unload matrix and free memory


上網搜尋了一下，有幾個相關的指令能夠幫助我們解決問題

我目前成功使用的是 Clear 指令，它可以針對你所需要清除的該項資料進行清除

使用過後開啟工作管理員作個驗證，例如下圖一所示

圖一、記憶體資源釋放

像是清除特定變數資料

Clear Specific Variables by Name

Using regular expressions, clear those variables with names that begin with Mon, Tue, or Wed.

clear -regexp ^Mon ^Tue ^Wed;

如果要清除的不只有一個變數，還有牽涉到不同的資料型別

則可以創造一個 cell，把這些資料變數名稱儲存在list中

varlist = {'v1','v2','time'}; 
clear(varlist{:});

------------------------------------------------------------------------------

如果是使用讀取影像或是影片的物件(obj)，使用完之後想要刪除它們的話

則可以使用 flushdata、 delete 指令

若想要知道詳細的MATLAB管理記憶體的一些知識

可以看官網的 Managing Memory Usage 條目，裡面有更詳細的敘述

[轉帖] 你所不知道的C語言：指標篇

Jserv大 講關於C語言的文章

全篇的原文在這邊

我想非常值得已經學習過C語言的同學閱讀

看完之後才發現自己對於C語言不懂的地方可多著。。。

多學，多聽，多看 : )

---------------------------------------------------------------------------

GNU Debugger (GDB) 補充說明

官方文件 : GDB: The GNU Project Debugger

中文資料 : 除錯程式: gdb ，內含有其它豐富補充文件的連結

教學影片 Introduction to GDB a tutorial - Harvard CS50

系統研究的入門方法

社會上有些教育界的前輩，有感於台灣目前的研發人才培養情況陷入困境

開始在臉書以及各媒體進行發聲，並根據自己的經驗指引一條可行之路

身為一個不及格的研究生

希望能夠透過資訊世代的力量

為自己尋找一條能夠進行真正結合創業與研發的路

雖然這條路可能很漫長，對於想選擇的切確領域還不是完全清楚的狀況底下

我想，先進行 學習能力 與 思考能力的培養 是基本中的基本功

在此對於自己的知識先以文章的方式記錄下來

--------------------------------------------------------------------------------------------

學習能力

1. 時間管理(尚待完成)

書籍 - 一週工作四小時

2. 金錢管理(尚待完成)

股票 基金 債券 外幣 房地產 資產配置

3. 專業能力

*研究方法

• 學術文獻回顧與分析的程序與技巧 - 清大 彭明輝 教授

心得與提問 : 身為一個研究生，非常推薦大家閱讀的研究方法論。

• 想法被論文所限制？ - 台大資工 洪士灝 教授

心得與提問 : 看的廣度有賴於涉獵的論文的多樣性，而訓練自己研究的深度則有賴問題來磨練。與2015/11/4 在資工系書報討論 Google 程本中博士所說的答案接近。如果是一個菜鳥工程師，學習、解決問題最快的方法就是尋找自家產品的問題，然後以這個問題為切入點進行鑽研。

同場加映 : 程本中博士於2008年的演講影片

• 業界（和國家）需要系統架構師 - 台大資工 洪士灝 教授

心得與提問 : 資訊工程與機械工程同樣也注重系統(System)這件事情。如何將老師口中資訊工程的系統對比到機械工程中的系統，以及需要培養自己什麼樣的能力，我想這是我該在近年之內掌握的功課之一

• 系統是什麼? - 台大資工 洪士灝 教授

心得與提問 : 多認識現實中的機械系統(Ex. 航太、汽車、工具機、自動化設備與風力發電系統等)，將會有幫助於自己了解何為機械工程中的系統。

• 系統研究的入門方法 - 台大資工 洪士灝 教授

心得與提問 : 雖然文中所說的是資訊工程中的系統，但是用相同的類比方式，我們是不是能夠透過認識現實中的複雜機械系統，同時掌握分析系統與效能的工具，同時具備實作與實驗規劃、驗證的能力?

• 「神級程式設計師」與「寫作」- 台大資工 洪士灝 教授

心得與提問 :

節錄文中的一小段 : 

一般的程式設計師，在基本的邏輯論述上是游刃有餘的，但對於複雜事務的洞察力，並非終日在普

通的程式設計領域所能養成的。在中學、大學、研究所、職場上，如果能不斷增加解決問題的廣度

和深度，是個提升能力可行的途徑。學習撰寫研究論文，也是好方法，是念研究所的同學可以從一

個好的指導教授身上學習和好好訓練自己的部份。但要更上層樓，最終還是得接受現實世界的考

驗。

一個能自我成長的程式設計師，有機會可身兼科學、工程、文創、社會、人文等修養，所以學資訊

的同學們，不妨多學一點，把自己看高一點。

-----------------------------------------------------------------------------------------------------

我想把文中的程式設計師換成機械工程師，我想也能夠收到一樣的效果 : )

• 不用考上研究所也可以做研究？- 台大資工 洪士灝 教授

• 跨領域研究的困難 - 台大資工 洪士灝 教授

心得與提問 : 跨領域的研究，我自己並不是非常熟悉。但是我能夠做的是嘗試抓住新事物的概

念，同時與我所學過的事物進行類比，試圖找到概念上相似的地方來讓我自己能夠快速了解

新事物的概念。但我想，真正重要的恐怕是應該結合實務經驗來磨練自己的實作能力，恐怕

才是真正確認自己是否掌握跨領域研究的訣竅。否則，還是停留在概念上的認知裡解而已。

• 舉一反「三」與指導研究 - 台大資工 洪士灝 教授

*機械工程(尚待完成)

線上自學系統 -

台灣
開放式課程聯盟

海外
線上教學平台 Coursera、edX

美國 MIT Open Course Ware  - Mechanical Engineering

德國 MOOC@TU9

機電整合

自動化控制 - 數位控制

*影像處理與電腦視覺(尚待完成)

• 從鴻海的崛起與戰國策看台灣的產業與學術發展策略 - 清大 彭明輝 教授

心得與提問 : 上駟對下駟。想做一件事情之前，想清楚策略再行動(謀定而後動)，成功的機率會大大上升。

*機器學習與樣型識別(尚待完成)

*真實系統

  *自動化設備

  微影製程曝光機(尚待完成)

  自動化光學檢測 (AOI)設備

  *工具母機(尚待完成)

   Computer (or computerized) Numerical Control (CNC)

   CNC Controller - LinuxCNC(Open Source)

  *交通運輸工具(尚待完成) - 汽車、飛機、高鐵

4. 創業相關技能(尚待完成)

Mr.Jamie - 創業必讀 (我在此並沒有特意鼓吹創業，這只是個人人生選擇，不管是就業或創業，都有其困難之處，箇中辛勞只有自己知道)

思考能力

1. 台灣產業現況

• 在Montreal思索：台灣人為什麼要那麼辛苦工作？ - 台大資工 洪士灝 教授

心得與提問 : 思考何謂高階人才與高階工作?

• 第一流的軟體人才在業界做些什麼？- 台大資工 洪士灝 教授

心得與提問 : 永保開放與學習的心。別認為自己是多麼了不起的人物。同時與最優秀與最有熱情的人共事和討論，成長幅度才會快 : )

• 寫給資工系的畢業生- 台大資工 洪士灝 教授

心得與提問 : 世界很大，網路是個無遠弗屆的全新國度。不要把研究的領域只限縮在台灣，而應該放眼全世界，與全球一流人才解決世界級的問題，才有機會能夠獲得巨幅的成長。

• 現在學的這些，從學校出去以後可以用多久？- 台大資工 洪士灝 教授

(洪教授談及自己的核心方法論的建構方法，值得多多揣摩)

心得與提問 : 最重要的是建構研究的核心方法論。但是依舊要時時保持對最新技術與研究主題的嗅覺，如同時時嗅到最新的商機一樣，持續不斷的學習 : )

• 業界思維與生涯規劃 - 台大資工 洪士灝 教授

心得與提問 : 能夠有足夠高度的視野與能力，我想是成為站上國際舞台的必備條件。

• 《心態致勝》：改變心態，改變你的世界！- 半路

心得與提問 : 在某個領域是成長型心態還是定型心態，完全取決於個人意志!

• 駭客思維的學習... 在台灣？- 台大資工 洪士灝 教授

心得與提問 : Self-education 這個名詞在我以前看來似乎是不可能的事情。以前的我只認為，念完碩士之後，我終於一輩子不用唸書了。的確，過去死被硬記的學習方式搞壞了我自己的學習胃口。但是自從接觸到創業圈的人之後，我發現，過去不曾接觸過一種新型態的"學習"方式，就如同文中所引用的 TEDx 的影片，從自己感興趣的領域出發(熱情驅使)，自主的學習相關領域的知識，不只包含書本的知識而已，而是身邊週遭的人、影片等等都是自己學習知識的來源。那種學習的快樂是不可言喻的。

• 40 歲的哀愁 - 以本事論英雄？- 台大資工 洪士灝 教授

心得與提問 : 如何跳脫這種循環 ? 盡早成為主管階級? 提早達成財務目標? 創業 ? 

• 給理工學院研究生（2）：如何研判未來產業的就業前景 - 清大 彭明輝 教授

心得與提問 : 可以配合下面一篇一起閱讀。

• 聰明要怎麼用？- 清大 彭明輝 教授

心得與提問 : 清大不應該只是培養工業界所具備技能人士的地方，那叫作機器人。領導人? 我想未必。清大應該培養的是各行各業的靈魂人物，少了他/她不行。未必每個人都一定要當領頭羊，但是一個有主見、有見地與有手段的人，應該是清大的教育目標之一。

• 英國 Times 的世界大學排名根本是大笑話！- 清大 彭明輝 教授

心得與提問 : 身為一個學習過科學知識的人(我只是一個一般人，不敢說自己有多麼厲害)，首先具備的是基本的科學素養，也就是求知、求真。對於世界大學的排名，首先應該要理解的是排名的依據從何而來，而不是率先關心自己學校的排名落在哪。以前的我也常常對於學校的排名患得患失，覺得自己的母校不如人。但是現在真正重要的應該是關心這間大學是不是有達成它應該具備的使命。外國的月亮真的比較圓嗎 ? 自己國家的人才就比較差嗎 ? 如果大環境不好，我可以如何從根本來改變 ?

• 台灣是不是選錯了戰場 - 清大 彭明輝 教授

心得與提問 : 這篇點出了台灣過去產業的錯誤策略，像是跟風美國，試圖在消費性電子產品上跟美中兩個大國在世界角立場上比拼。也很高興台灣開始漸漸有許多新創團隊發現過去台灣上未能夠以在正確的產業策略下以世界級的產品與服務，由高階人才帶領公司征戰全球市場。我想只要眼光與產業策略正確，在大國角力的時代也能夠不過度依賴中國市場，同時也能夠在自己的國家裡擁有一流的研發工作與薪資待遇，吸引外流的高階人才們回國打拼。

同場加映 :  馬雲 : 員工離職的理由林林總總，最真實的只有兩條： 錢，沒給到位；心，委屈了。這些歸根究柢就一條：幹的不爽。

[簡介]自動化光學檢測 (AOI)

自動化光學檢測 (Automated optical inspection, AOI)

簡介 : 自動化光學檢測是一種透過整合光學以及系統分析軟體工具的一套檢測方法。可以應用在例如產品缺陷的自動檢測，像是 IC產業中的IC封裝缺陷的自動檢測。

補充資料
中文 -Wiki - 自動光學檢查
英文 -Wiki - Automated optical inspection

商業價值 : 工業自動化、醫療檢測、安全監控、食品檢測 與 指紋比對等

關鍵字 : Automated optical inspection (AOI)、automated X-ray inspection (AXI)、automated visual inspection (AVI)

相關技術 : IC/晶粒/PCB/SMT 檢測、幾何尺寸量測、光學性質量測、系統設計

技術關鍵 - 光學知識、影像處理與電腦視覺演算法開發、系統整合、防震(震動學)、校正知識

光學知識 - 奈米光學檢測技術與應用 課程。

奈米光學檢測技術與應用 涵蓋

奈米光學檢測基礎
(干涉原理、繞射原理、光源與偵測器等)

奈米光學檢測技術
(影像式顯微技術、干涉技術、繞射式顯微技術)

奈米檢測技術應用
(先進半導體製程線上檢測)

軟體分析 - 影像處理與電腦視覺演算法開發 - 影像處理 機器視覺 課程

影像處理基本架構 - 數位影像處理簡介課程pdf -台大 林達德教授

系統整合 

震動學

校正知識

關於CCD 與 機台垂直度的校正方法與工具

軟體工具 : 商用軟體 - MATLAB 、開源軟體 - OpenCV

技術文件網站 : http://www.vtek.tw/


AOI大廠 -  Orbotech (Israel)、Camtek (Israel)、Omron (Japan)、KohYoung Technology (South Korea)、德律 TRI  (Taiwan)、由田新技 Utechzone (Taiwan)

參考書籍 - 奈米光學檢測技術與應用 課程參考書籍

1. Gasvik, Kjell J, “ Optical Metrology ”, John Wiley Sons Ltd, 2002
2. Pranod K. Rastorgi, “Optical Measurement Techniques and Applications”, Artech House, Inc., 1997
3. Alain C. Diebold, “ Handbook of Silicon Semiconductor Metrology”, Marcel Dekker, Inc., 2001
4. Ghanim A. Al-Jumaily, “ Optical metrology”, SPIE optical engineering press, 1999
5. 蘇青森教授,  “儀器學”, 五南出版社2002
6. 國科會精密儀器中心, "光機電系統整合概論", 2005

[整理]研究所價值 與 攻略

學術思想

學術文獻回顧與分析的程序與技巧 - 清大 彭明輝 教授

研究生指南 - 金大 陳鍾誠 教授



必備學術能力

論文撰寫方法 - 台大生機系 馮丁樹 教授

研究生2.0 - 記錄研究生需要具備的知識與工具，並介紹研究相關的觀念與軟體

[整理]利用Google日曆進行時間與工作管理

最近發現在進行論文規劃與實作的時候會有 拖延 以及 懶散的狀況發生

為了讓時間管理能夠更有效率，避免花費過多時間在可以避免的錯誤上

在網路上找到了一系列的實用工具應用文章

來方便自己日後管理自己的人生

Less is more

---------------------------------------------------------------------------------------------------

• Google日曆 最佳化：在忙碌瑣事中有效率掌握最重要行程

• 實作進攻型行事曆：學會留時間給自己的進度排程心法

下面節錄一下文中的重點

• 行事曆上有空，不代表你真的有空：學會留時間給自己

• 行事曆不能沒有未來：「預先」設定長期計畫與重要截止日

• 行事曆不能只有截止日：拆解計劃步驟，列出完成所需要的時間

• 太長的進度會失焦：把超過一週的大進度分割成以一週為單位的子進度

• 穿插當日核心任務：善用全日行程，寫當天最重要的進度

• 先有長期計畫，才能掌握短期計畫：知道自己應不應該接下臨時的任務

• Google 日曆的顏色怎麼安排最適當？長期計畫、臨時任務、重點關鍵

• 不要在「勉強的時間」裡排時間

• 回顧舊行程：了解自己完成某種專案真正需要花費的時間

• Google Tasks 工作表的 10 個待辦事項管理方法心得建議

• 10 個真的可以被具體執行的時間管理技巧