持續學習

Classification and Representation   Classification     嘗試進行分類問題的時候，我們有兩種方法去進行分類，第一種是運用linear regression 把所有的預測值大於0.5當成1，小於0.5當成0，但這種方法在分類的時候運作得不是很好，因為其實分類不是線性函數。第二種方法是二元分類法，y在這邊只有0和1兩個值，這邊我們稱呼0為negative class，1為positive class。 -------------------------------------------------------------------------------------------------------------------------- Hypothesis and Representation     假如我們忽略掉y是個離散的值，我們運用舊的線性回歸算法持續的處理問題分類問題，我們知道y ∈ {0, 1}，會發現有h θ (x)大於1或者小於0的狀況，故這樣是不合理的，這樣的價值函數就不會是最小值，就達不成我們要做的線性回歸。為了修復這問題，我們修改了假設h θ (x)，讓0 ≤  h θ (x) ≤1，我們稱之為sigmoid function 或者 logistic function，下面為他的數學函式及圖。 The function g(z) 根據上述圖形所歸納出來的性質如下： 這邊 h θ (x)代表y=1的機率，而y=1和y=0的機率是互補的，可以寫成下列的函式： -------------------------------------------------------------------------------------------------------------------------- Decision Boundary h θ (x) ≥ 0.5 代表該y值等於1的機率大於50%，這邊我們相當於令y=1 ， h θ (x) < 0.5 代表該y值等於1的機率小於50%， 這邊我們相當於令 y = 0...

首先有很多把影音檔案製作成DVD光碟的套裝軟體都會有LOGO問題 Freemake Video Converter (影片開始前幾秒會有Logo) DVDVideoSoft裡面的Free Video to DVD Converter (會在DVD選單有LOGO) 再來是格式化工廠也能幫助您把影音檔轉成DVD播放器可以讀取的格式，但可能就沒有所謂的DVD選單的部分，個人沒有嘗試過，有興趣的網友可以去嘗試看看。 這邊我推薦使用DVDstyler這格套裝軟體，它可以幫助你快速的以專案的方式製作自己的DVD選單，也能幫助你把影音檔轉成DVD播放器可以讀取的檔案，或者是可以直接燒錄的ISO檔，亦或者是直接燒錄成光碟。 P.S 影片檔案名稱別用中文命名比較不容易有問題。

由於隨手漫不經心地想聽歌，把耳機往耳機孔插，沒想到插到USB的裝置孔位，造成電腦直接shut down。猜想是耳機插USB孔導致整台筆電短路，上網查了一下可能有幾種原因： 可能啟動主機板的電源短路保護裝置 可能燒掉主機板和南北橋晶片 情況1---解決方式： 先把筆電的電池拔掉再裝上，然後重新開機測試看看 情況2---解決方式： 送原廠維修或者找電腦工作室維修，網路上大家說若筆電無燒毀的外觀，可以送原廠，應該是不用花費價錢，但若是有燒毀的外觀跡象，可以直接送電腦工作室，因為聽說原廠比較貴，電腦工作室較為便宜。

Evaluating a Learning Algorithm Evaluating a Hypothesis 當我們用用各種機器學習的演算法，我們會不斷嘗試不同演算法或調整參數，讓價值函數達到最小，以下是我們可以進行的方式： 取得更多訓練樣本 嘗試減少樣本的特徵 嘗試額外的特徵 嘗試多樣組合的特徵 嘗試增加或減少𝛌 一個hypothesis對於訓練的樣本可能有很小的誤差但有可能預測上還是不準確(有可能有過度擬合的情況)，所以我們會把拿到資料集，分成70%和30%的比例，70%的資料拿來當成訓練的資料，30%的資料拿來當成測試的資料，然後依照下列方法： 再重新訓練學習𝚯，然後使用訓練的70%資料再重新最小化J train (𝚯) 利用測試的30%資料計算誤差J test (𝚯) 測試資料的誤差： 1.對於線性回歸的演算法而言，測試資料的誤差 2.對於分類和誤分類的演算法的誤差： 不論線性回歸或是分類的邏輯回歸，整體來說，測試資料的測試誤差的公式如下，這數據告訴我們測試資料有多少被誤分類： ------------------------------------------------------------------------------------------------------------------------- Model Selection and Train/Validation/Test Sets 如果你想要知道對某組資料而言，擬合多項式的次數會是最佳的?還有怎樣選用正確的特徵還建構你的機器學習演算法，以及你要如何去選擇正確的機器學習算法中正規劃的參數𝚯，這些我們稱之為模型選擇的問題。 若只是因為機器學習的演算法非常好地擬合訓練數據集，這並不代表這是一個好的演算法或好的假設，他會過度擬合且你對的測試數據集的預測並不會太好。你在訓練資料集上訓練出來的假設參數的錯誤會低於任何其他的數據集上所訓練出來的，因為我已經選了最能夠擬合測試資料集得參數，又拿測試資料集來驗證，感覺不太公平。這邊給很多不一樣的多項式次數模型，我們可以用對稱的方法來找出最好的模型函式。為了要選擇你假設的模型，你可以測試任何多項式的次數，然後查看誤差的結果。 但...

Cost Function and Backpropagation Cost Function 在Cost function的部分，我們先定義一些用到的參數： L：整個神經網路的層數 (包含輸入、輸出和隱藏層) S l ：第 " l " 層單位數/節點數 (不包含隱藏偏差單位(bias unit)) K：輸出的類別數 (number of output/unit class) h 𝚯 (X) k ：代表第k個hypothesis function，相當於第k個輸出的結果 還記得上一章，我們用邏輯迴歸的算法去計算神經網路的價值函數型式如下： 根據上面定義的參數去改寫此數學式： 發現cost function公式裡面，一般項下，有2個summation的符號，代表說m個訓練樣本，K個輸出分類；在正規化項(regularization)中，有三個summation的符號，分別是代表總共有L-1層的映射函數，因為theta都在theta matrix中，theta matrix總用有S l+1 列(row)和S l 欄(column)。 還有一些要注意的地方如下： 在一般項兩個的summation中，它只計算輸出層的部分的cost function 而在正規化項三個的summation中，他則是計算整個神經網路的theta matrix 在正規化項summation中，i並不是對應到第i個樣本，而是對應到theta的第幾欄或第幾列 -------------------------------------------------------------------------------------------------------------------------- Backpropagation Algorithm 在Back propagation的部分，back propagation主要是神經網路裡面一個最小化價值函數的專有名詞，就如同我們在邏輯和線性回歸裡面做的梯度下降法是一樣的，都是要找尋最小的價值函數。 Back propagation的演算法大致如下： 1.在一開始給定訓練的資料集{(x (1) ,y (1) )...(x (n) ,y (m) ...