人工智慧(AI)與貝葉斯(Bayesian)迴歸的整合：應用STaTa分析（附光碟）

目次

自 序

Chapter 01 人工智慧的基礎：機器學習理論及貝氏定理(Bayes’ theorem)
1-1 人工智慧(Artificial Intelligence, AI)
1-1-1 AI 研究的議題
1-1-2 強人工智慧vs. 弱人工智慧
1-1-3 AI 研究方法
1-2 機器學習(machine learning)
1-2-1 監督vs. 非監督機器學習
1-2-2 機器學習的演算法(algorithm)
1-2-3 何謂Features( ≈自變數)、Training、Label( ≈類別依變數)？
1-2-4 監督機器學習⊃多變數線性迴歸(machine learning: linear regression with multiple variables)
1-2-5 機器學習：梯度下降演算法(gradient descent algorithm)
1-2-6 機器學習：特徵縮放(feature scaling)
1-3 參數估計：最大概似估計、最大後驗(Max posterior)、貝葉斯估計
1-3-1 何謂參數估計？
1-3-2a 估計法一：最大概似估計(MLE) ≠概似比(LR)
1-3-2b 最大概似估計法(MLE) 做分類
1-3-3 估計法二：最大後驗(Max posterior) 估計
1-3-4 估計法三：貝葉斯估計
1-4 期望最大化(EM) 演算法

Chapter 02 貝葉斯(Bayesian) 迴歸有45 種
2-1 貝氏定理與條件機率( 重點整理)
2-1-1 貝氏機率(Bayesian probability)
2-1-2 貝氏(Bayes) 定理、條件機率
2-2 貝葉斯推論(Bayesian inference)
2-2-1 貝葉斯法則(Bayesian rule)
2-2-2 推論「排他性和窮舉命題」的可能性(inference over exclusive and exhaustive possibilities)
2-2-3a 貝葉斯推論之數學性質(mathematical properties)
2-2-3b 貝葉斯決策理論
2-2-4 貝葉斯推論之案例
2-2-5 頻率統計和決策理論之貝葉斯模型，誰優？Bayesian Information Criterion (BIC)
2-2-6 貝葉斯認識論(Bayesian epistemology)
2-2-7 貝葉斯推理的影響因素
2-3 常見的分布有15 種
2-4 STaTa likelihood-based Bayesian 迴歸有45 種
2-4-1 STaTa 共12 類：45 種Bayesian 迴歸
2-4-2 Metropolis-Hastings 演算法(bayesmh 指令) 和Monte Carlo
2-4-3 貝葉斯線性迴歸的基本原理
2-5 貝葉斯統計及正規化(Bayesian statistics and Regularization)
2-5-1 過度適配vs. 不足適配(overfitting and underfitting)
2-5-2 Bayesian statistics 及正規化(regularization)
2-5-3 最佳成本函數之正規化(optimize cost function by regularization)

Chapter 03 最大概似(ML) 各家族(family)：機器學習技術
3-1 最大概似(ML) 之Regression 家族(family)
3-1-1 迴歸分析介紹
3-1-2 線性迴歸(linear regression)
3-2 多元迴歸的自變數選擇法有三：子集合選取法、正規化、資訊準則法(bayesstats ic 指令)
3-2-1 迴歸模型與正規項(regulation)：Ridge 迴歸、Lasso 迴歸原理
3-2-2 脊迴歸／嶺迴歸(ridge) 的原理：多重共線性(ridgeregress 外掛指令)
3-2-3a 迴歸正規項(regulation)：lasso 迴歸、Ridg 迴歸、elastic-net 迴歸(lassoregress、ridgeregress、elasticregress 外掛指令)
3-2-3b 機器學習演算法：套索迴歸(Lasso Regrission)(lassoregress、lasso2、elasticregress 指令)
3-2-4a 機器學習演算法：脊迴歸(Ridge Regression)(rxridge、rxrcrlq、rxrmaxl等14 個指令)
3-2-4b Ridge 迴歸分析：解決共線性(rxridg 外掛指令)
3-2-5 機器學習演算法：彈性網路多工Lasso 迴歸(multi task Lasso)(elasticregress 指令)
3-2-6 邏輯斯迴歸(logistic regression)
3-3 機器學習法：隨機森林( 外掛指令randomforest)、支援向量機( 外掛指令svmachines)
3-3-1 機器學習法：隨機森林( 外掛指令：randomforest)
3-3-2 機器學習法：支援向量機SVM( 外掛指令：svmachines)
3-4 最大概似的Kernel-Based 家族：小樣本、非線性及高維模型識別
3-4-1 非線性分類之核函數
3-4-2 支援向量機(SVM) 分類器：原型、對偶型、核技巧、現代方法
3-4-3a 支援向量機(SVM) 原理：小樣本、非線性及高維模型識別
3-4-3b 支援向量機做分類(svmachines 外掛指令)
3-4-4 核迴歸／分段加權迴歸(kernel regression)：非單調函數(lpoly、npregress、teffects 指令)
3-5 最大概似(ML) 之Bayes-Based 家族( 前導字「bayes: 某迴歸」指令)
3-5-1 判別模型(discriminative model) 與生成模型(generative model)
3-5-2 高斯判別分析(Gaussian discriminant analysis)
3-5-3 樸素貝葉斯(naive bayes) 演算法

Chapter 04 貝葉斯(Bayesian) 線性迴歸之原理
4-1 貝葉斯(Bayesian) 分析
4-2 參數估計：最大概似估計、最大後驗估計、貝葉斯估計
4-3 貝葉斯(Bayesian) 線性迴歸
4-3-1a 線性迴歸之參數估計最小平方法 (OLS)
4-3-1b 貝葉斯(Bayesian) 迴歸之原理
4-3-2 貝葉斯線性迴歸：參數分布、預測分布、等價核
4-3-3 貝葉斯線性迴歸：學習過程、優缺點、貝葉斯脊迴歸
4-4 貝葉斯多元線性迴歸之原理(Bayesian multivariate linear regression)

Chapter 05 Bayes 線性迴歸(「bayes: regress」、「bayesgraph diagnostics」、「bayesstats ic」指令)
5-1 線性Bayesian 迴歸( 先rsquare、再「bayes: regression」指令)
5-1-1 OLS 先挑所有自變數的最佳組合( 再Bayes 線性迴歸)
5-1-2 OLS 先挑所有自變數的最佳組合，再Bayes 線性迴歸(bayes : regress y x1 x2 x3)
5-2 方法一Bayes 線性迴歸(bayes : regress ⋯指令)
5-2-1 Bayes 線性迴歸及預測值：使用內定概似及先驗(uninformative data)(bayes : regress ⋯指令)
5-2-2 Bayes 線性迴歸：自定概似及先驗(informative data)(bayes : regress⋯指令)
5-3 方法二Bayes 線性迴歸(bayesmh : regress ⋯指令)
5-4 線性Bayesian 迴歸模型( 改用bayesmh 指令)
5-4-1 Bayesian 估計之原理及實作(「bayes: regress」指令)
5-4-2 MCMC 收斂性(convergence) 及假設檢定(hypotheses testing)
5-4-3 先驗(Priors)：Gibbs 採樣(sampling)
5-4-4 自定先驗(Custom priors)
5-5 Bayes 迴歸：縮減模型vs. 完全模型，誰優？(bayesmh、bayesstats ic 指令)

Chapter 06 Metropolis-Hastings 演算法之Bayesian模型(bayesmh 指令)
6-1 bayesmh 指令：「線性vs. 非線性」、「單變量vs. 多變量」、「連續vs. 間斷」模型有8 大類
6-2 bayesmh 指令之範例
6-2-1 範例1：OLS 線性迴歸(regress)vs. Bayesian 線性迴歸(bayes : regress)
6-2-2 範例2：Bayesian normal linear regression with noninformative prior( 未自定參數的分布)
6-2-3 範例3：Bayesian linear regression with informative prior( 自定參數的分布)
6-2-4 範例4：Bayesian normal linear regression with multivariate prior
6-2-5 範例5：檢查收斂性(Checking convergence)
6-2-6 範例6：貝氏事後估計值摘要(Postestimation summaries)
6-2-7 範例7：敵對模型的比較(Model comparison)
6-2-8 範例8：假設檢定(Hypothesis testing)( bayestest model、interval interval)

Chapter 07 Bayesian 邏輯斯模型、多項邏輯斯模型(bayes: logistic、bayes: mlogit 指令)
7-1 邏輯斯迴歸原理
7-2 Bayesian logit 迴歸分析(bayes: logit、bayes : logistic 指令)
7-2-1 範例1：貝氏Logistic 迴歸(bayes: logit 指令)
7-2-2 範例2：自定之資訊先驗(informative prior)：貝氏Logistic 迴歸(bayes: logit 指令)
7-3 對照組：multinomial logistic 迴歸分析(bayes: mlogit 指令)
7-3-1 多項(multinomial) 邏輯斯迴歸之原理
7-3-2 Multinomial Logit 迴歸分析：職業選擇種類(mlogit 指令)
7-3-3 多項邏輯斯迴歸分析：乳房攝影(mammograph) 選擇的因素(mlogit 指令)
7-4 實驗組：Bayesian multinomial logistic 迴歸分析：健康保險(bayes: mlogit指令)

Chapter 08 聯立方程式：Bayesian multivariate 迴歸(bayes: mvreg 指令)
8-1 多變量Bayesian 迴歸分析(bayes: mvreg 指令)

Chapter 09 非線性迴歸：廣義線性模型(GLM)(Baye: glm 指令)
9-1 廣義線性模型之原理
9-2 當依變數是比例(proportion) 時，如何做迴歸(glm 指令)？
9-3 廣義線性迴歸(glm、baye: glm 指令)

Chapter 10 Survival 模型(baye: streg 指令)
10-1 存活分析的原理
10-1-1 存活分析之定義
10-1-2 為何存活分析是臨床研究最重要的統計法？
10-1-3 存活分析之三種研究目標
10-2 存活分析Bayesian 迴歸 (baye: streg 指令)

Chapter 11 多層次(multilevel) 模型(bayes: mixed 指令)
11-1 多層次模型的原理
11-2 Bayesian 多層次模型：重複測量(bayes: mixed 指令)

Chapter 12 計數(count) 模型、Zero-Inflated 模型(bayes: tpoisson、baye: zinb 指令)
12-1 傳統原理：Count 依變數：Zero-Inflated Poisson 迴歸 vs. negative binomial迴歸
12-1-1 Poisson 分配
12-1-2 負二項分配(Negative Binomial Distribution)
12-1-3 零膨脹(Zero-Inflated)Poisson 分配
12-2 單層次：Zero-Inflated Poisson 迴歸vs. 負二項迴歸(zip、zinb 指令)
12-2-1 傳統：Zero-Inflated Poisson 迴歸vs. 負二項迴歸(zip、zinb 指令)
12-2-2 Bayesian Poisson 迴歸(bayes: poisson)、Bayesian 零膨脹Poisson迴歸(bayes: zip 指令)
12-2-3 Zero-Inflated negative binomial 模型(bayes: zinb 指令)
12-3 Zero-Inflated ordered probit regression 練習：釣魚(zip 指令)
12-4 零膨脹Ordered probit 迴歸分析：抽菸嚴重度(zioprobit 指令)
12-5 截斷(truncated) Poisson 迴歸分析(bayes: tpoisson 指令)
12-5-1 截斷迴歸(truncated regression)(truncreg 指令)
12-5-2 Bayesian 截斷Poisson 迴歸(truncated regression)(bayes: tpoisson 指令)

Chapter 13 Bayesian 自我迴歸模型 (bayes : regress yL1.y 指令)
13-1 時間列序之統計：自我迴歸(autoregressive models)
13-1-2 ARIMA 建構模型之步驟
13-2 穩定數列之自我迴歸模型(AR)
13-2-1 AR(1) 模型
13-2-2 AR(2) 模型
13-2-3 何謂穩定性( 定態)？
13-3 Bayesian 自我迴歸之建模過程(bayes : regress y L.y 指令)

參考文獻