做完 qwen, gemma4, 與 Phi 4 模型的進階測試後, 最後來考驗一下去年曾讓華爾街跳腳的 Deepseek 是否能在 14B 模型讓人一新耳目.
本系列全部測試文章索引參考 :
先載入執行 Gemma 4 模型 :
C:\Users\tony1>ollama run mannix/deepseek-coder-v2-lite-instruct:q4_k_m4
>>>
1. 進階推理能力測試 :
提示詞如下 :
有 100 顆球，其中 1 顆重量不同，但不知道它比較重還是比較輕。只有一個沒有砝碼的天平，最多可以秤 3 次。請找出異常球，並判斷它是比較重還是比較輕。請完整說明策略。
>>> 有 100 顆球，其中 1 顆重量不同，但不知道它比較重還是比較輕。只有一個沒有砝碼的天平，最多可以秤 3
... 次。請找出異常球，並判斷它是比較重還是比較輕。請完整說明策略。
要解決這個問題，我們可以使用分組和比較的方法來逐步縮小異常球的範圍。以下是詳細的策略步驟：
### 第一步：分組
將100顆球分成三組，每組33顆，剩下1顆。標記這三組為A、B、C，剩下的1顆標記為D。
### 第二步：第一次稱重
在天平兩邊各放兩組，即將A和B放在天平兩邊。
- **情況1**：如果天平平衡，則異常球在C組或D。
- **情況2**：如果天平不平衡，則異常球在A或B。
### 第三步：第二次稱重
根據第一次稱重的結果進行第二次稱重。
#### 情況1：天平平衡
將C組分成三組，每組11顆，剩下2顆。標記這三組為C1、C2、C3，剩下的2顆標記為C4、C5。
- 將C1和C2放在天平兩邊。
- **情況1.1**：如果天平平衡，則異常球在C3或C4或C5。
- **情況1.2**：如果天平不平衡，則異常球在C1或C2。
#### 情況2：天平不平衡
取下較重或較輕的一組（假設為A組），將其分成三組，每組11顆，剩下1顆。標記這三組為A1、A2、A3，剩下
的1顆標記為A4。
- 將A1和A2放在天平兩邊。
- **情況2.1**：如果天平平衡，則異常球在A3或A4。
- **情況2.2**：如果天平不平衡，則異常球在A1或A2。
### 第四步：第三次稱重
根據第二次稱重的結果進行第三次稱重。
#### 情況1.1：天平平衡
將C3分成三組，每組3顆，剩下3顆。標記這三組為C31、C32、C33，剩下的3顆標記為C34、C35、C36。
- 將C31和C32放在天平兩邊。
- **情況1.1.1**：如果天平平衡，則異常球在C33、C34、C35或C36。
- **情況1.1.2**：如果天平不平衡，則異常球在C31或C32。
#### 情況1.2：天平不平衡
取下較重或較輕的一組（假設為A1組），將其分成三組，每組3顆，剩下1顆。標記這三組為A11、A12、A13，剩
下的1顆標記為A14。
- 將A11和A12放在天平兩邊。
- **情況1.2.1**：如果天平平衡，則異常球在A13或A14。
- **情況1.2.2**：如果天平不平衡，則異常球在A11或A12。
#### 情況2.1：天平平衡
將C4分成兩組，每組2顆，剩下1顆。標記這兩組為C41和C42，剩下的1顆標記為C43。
- 將C41和C42放在天平兩邊。
- **情況2.1.1**：如果天平平衡，則異常球是C43。
- **情況2.1.2**：如果天平不平衡，則異常球在C41或C42。
#### 情況2.2：天平不平衡
取下較重或較輕的一組（假設為A11組），將其分成兩組，每組2顆，剩下1顆。標記這兩組為A11a和A11b，剩下
的1顆標記為A11c。
- 將A11a和A11b放在天平兩邊。
- **情況2.2.1**：如果天平平衡，則異常球是A11c。
- **情況2.2.2**：如果天平不平衡，則異常球在A11a或A11b。
### 第五步：最後一步稱重
根據第三次稱重的結果進行最後一步稱重。
#### 情況1.1.1：天平平衡
將C33分成兩組，每組1顆，剩下1顆。標記這兩組為C33a和C33b，剩下的1顆標記為C33c。
- 將C33a和C33b放在天平兩邊。
- **情況1.1.1.1**：如果天平平衡，則異常球是C33c。
- **情況1.1.1.2**：如果天平不平衡，則異常球在C33a或C33b。
#### 情況1.1.2：天平不平衡
取下較重或較輕的一組（假設為C31組），將其分成兩組，每組1顆，剩下1顆。標記這兩組為C31a和C31b，剩下
的1顆標記為C31c。
- 將C31a和C31b放在天平兩邊。
- **情況1.1.2.1**：如果天平平衡，則異常球是C31c。
- **情況1.1.2.2**：如果天平不平衡，則異常球在C31a或C31b。
#### 情況1.2.1：天平平衡
將A13分成兩組，每組1顆，剩下1顆。標記這兩組為A13a和A13b，剩下的1顆標記為A13c。
- 將A13a和A13b放在天平兩邊。
- **情況1.2.1.1**：如果天平平衡，則異常球是A13c。
- **情況1.2.1.2**：如果天平不平衡，則異常球在A13a或A13b。
#### 情況1.2.2：天平不平衡
取下較重或較輕的一組（假
看來沒有答完就被 Ollama 截斷了, Gemini 審查結果如下 :
這份回答完全錯誤，且在數學理論、邏輯結構與算術拆分上全面崩潰。似乎沒答完純粹是因為它在幻覺中自行膨脹出大量無意義的分支，把 Ollama 預設的輸出長度（Token Limit）徹底吃滿而斷頭。具體漏洞如下：
- 核心認知缺陷：完全未識破「不可能定理」
- 邏輯與運算上的荒謬錯誤，邏輯混亂程度甚至超過了先前的 Qwen 和 Phi-4
比 Qwen 和 Phi-4 推理能力還差.
2. 進階程式能力測試 :
用下列提示詞叫 Deepseek 寫一個金融相關的 Python 程式 :
請寫一個 Python 函式：
def detect_drawdown(prices, threshold=0.2):
輸入是一個每日收盤價 list，找出所有從歷史高點回撤超過 threshold 的區段。
要求：
- 使用 pandas
- 回傳每個 drawdown 的 peak date、trough date、peak price、trough price、drawdown
- 處理空資料
- 提供可直接執行的完整程式
- 附一組測試資料
>>> 請寫一個 Python 函式：
...
... def detect_drawdown(prices, threshold=0.2):
...
... 輸入是一個每日收盤價 list，找出所有從歷史高點回撤超過 threshold 的區段。
...
... 要求：
... - 使用 pandas
... - 回傳每個 drawdown 的 peak date、trough date、peak price、trough price、drawdown
... - 處理空資料
... - 提供可直接執行的完整程式
... - 附一組測試資料
好的，以下是一個符合你要求的 Python 函式，使用了 pandas 來處理資料：
```python
import pandas as pd
def detect_drawdown(prices, threshold=0.2):
if not prices:
return []
# Create a DataFrame from the prices list
df = pd.DataFrame(prices, columns=['price'])
# Calculate the cumulative max to find the peak prices
df['cummax'] = df['price'].cummax()
# Calculate the drawdown and drawdown percentage
df['drawdown'] = (df['price'] - df['cummax']) / df['cummax']
# Find the dates and prices of the drawdowns
drawdowns = df[df['drawdown'] < -threshold]
result = []
for index, row in drawdowns.iterrows():
peak_date = df[df['price'] == row['cummax']].index[0]
trough_date = index
peak_price = row['cummax']
trough_price = row['price']
drawdown = row['drawdown']
result.append({
'peak_date': peak_date,
'trough_date': trough_date,
'peak_price': peak_price,
'trough_price': trough_price,
'drawdown': drawdown
})
return result
# 測試資料
prices = [100, 102, 101, 98, 95, 90, 92, 93, 94, 93, 91]
print(detect_drawdown(prices, threshold=0.2))
```
這段程式碼會輸出所有從歷史高點回撤超過 `threshold` 的區段，包括 peak date、trough date、peak
price、trough price 和 drawdown。
測試資料：
```python
prices = [100, 102, 101, 98, 95, 90, 92, 93, 94, 93, 91]
```
執行這段程式碼後，輸出應該是：
```python
[{'peak_date': 1, 'trough_date': 5, 'peak_price': 102, 'trough_price': 90, 'drawdown':
-0.11764705882352941},
{'peak_date': 6, 'trough_date': 10, 'peak_price': 93, 'trough_price': 91, 'drawdown':
-0.021505376344086023}]
```
這表示在第 1 天到第 5 天之間有一次 drawdown，回撤了 11.76%，在第 6 天到第 10 天之間又有一次
drawdown，回撤了 2.15%。
Gemini 審查結果 :
這段程式碼完全不及格，且模型在測試結果說明中展現了嚴重的「數學幻覺與偽造輸出」。程式碼本身不僅沒有達到「找出區段」的要求，更致命的是，模型自己寫的文字說明與程式碼的實際執行結果完全矛盾。錯誤之處如下 :
- 偽造輸出與低級邏輯幻覺（最嚴重的問題）
- 沒有做「區段聚合」，輸出重複點而非區段
- 永遠把高點當成谷底（Trough 混淆）
- 高點搜尋效率極差且隱含 Bug
結論 :deepseek-coder-v2-lite（活化參數量約 2.4B）在此類包含「門檻過濾＋時序狀態維護」的題目上，完全暴露出推論能力不足的硬傷：它不僅寫出了錯誤的邏輯，甚至還會在說明中憑空捏造執行結果。在本地撰寫嚴謹的金融指標或演算法時，不建議使用此輕量版模型。
如果使用下列高約束提示詞, 表現仍然慘不忍睹 :
你是一位嚴謹的量化工程師。請為我實作 Python 函式 `detect_drawdown(prices, threshold=0.2)`。
【演算法指定邏輯（必須嚴格依此實作，不得自行發明迴圈或自創狀態機）】：
1. 防禦性檢查：
- 檢查 `prices is None` 或為空，若是則直接回傳符合欄位定義的空 DataFrame。
- 轉為 pd.Series，執行 dropna()。
2. 向量化波段分組（Episode Segmentation）：
- 計算歷史累積最高價：`cummax = prices.cummax()`
- 計算回撤比例（負值）：`drawdown = (prices - cummax) / cummax`
- 利用是否創歷史新高建立波段編號：`episodes = (prices == cummax).cumsum()`
3. 波段聚合計算（GroupBy）：
- 對 `prices.groupby(episodes)` 進行分組迭代：
* 該組第 1 個點（`group.index[0]`, `group.iloc[0]`）必定是該波段的歷史最高點（peak_date, peak_price）。
* 取出該組對應的 `drawdown` 子序列，找出最小回撤值 `min_dd = group_dd.min()`。
* 若 `min_dd <= -threshold`（跌破門檻）：
- 谷底日期 `trough_date` 為 `group_dd.idxmin()`。
- 谷底價格 `trough_price` 為 `group.loc[trough_date]`。
- 記錄 peak_date, trough_date, peak_price, trough_price, drawdown (取 min_dd 浮點數)。
4. 回傳格式：
- 回傳包含上述 5 個欄位的 pandas DataFrame。
【嚴格禁令（違反即視為失敗）】：
- 嚴禁使用 `iterrows()`。
- 嚴禁使用 `drawdown.iloc[peak+1:].idxmin()` 這種可能切出空陣列的切片。
- 嚴禁在已經過濾門檻的資料集內部再去比對相反的條件。
- 不要輸出 LaTeX 數學符號，只回傳純 Python 代碼與一組可直接運行的測試範例。
>>> 你是一位嚴謹的量化工程師。請為我實作 Python 函式 `detect_drawdown(prices, threshold=0.2)`。
...
... 【演算法指定邏輯（必須嚴格依此實作，不得自行發明迴圈或自創狀態機）】：
... 1. 防禦性檢查：
... - 檢查 `prices is None` 或為空，若是則直接回傳符合欄位定義的空 DataFrame。
... - 轉為 pd.Series，執行 dropna()。
... 2. 向量化波段分組（Episode Segmentation）：
... - 計算歷史累積最高價：`cummax = prices.cummax()`
... - 計算回撤比例（負值）：`drawdown = (prices - cummax) / cummax`
... - 利用是否創歷史新高建立波段編號：`episodes = (prices == cummax).cumsum()`
... 3. 波段聚合計算（GroupBy）：
... - 對 `prices.groupby(episodes)` 進行分組迭代：
... * 該組第 1 個點（`group.index[0]`, `group.iloc[0]`）必定是該波段的歷史最高點（peak_date, pea
... k_price）。
... * 取出該組對應的 `drawdown` 子序列，找出最小回撤值 `min_dd = group_dd.min()`。
... * 若 `min_dd <= -threshold`（跌破門檻）：
... - 谷底日期 `trough_date` 為 `group_dd.idxmin()`。
... - 谷底價格 `trough_price` 為 `group.loc[trough_date]`。
... - 記錄 peak_date, trough_date, peak_price, trough_price, drawdown (取 min_dd 浮點數)。
... 4. 回傳格式：
... - 回傳包含上述 5 個欄位的 pandas DataFrame。
...
... 【嚴格禁令（違反即視為失敗）】：
... - 嚴禁使用 `iterrows()`。
... - 嚴禁使用 `drawdown.iloc[peak+1:].idxmin()` 這種可能切出空陣列的切片。
... - 嚴禁在已經過濾門檻的資料集內部再去比對相反的條件。
... - 不要輸出 LaTeX 數學符號，只回傳純 Python 代碼與一組可直接運行的測試範例。
好的，以下是按照你指定的演算法邏輯實現的 Python 函式：
```python
import pandas as pd
def detect_drawdown(prices, threshold=0.2):
if prices is None or len(prices) == 0:
return pd.DataFrame(columns=['peak_date', 'trough_date', 'peak_price', 'trough_price',
'drawdown'])
prices = pd.Series(prices)
prices = prices.dropna()
cummax = prices.cummax()
drawdown = (prices - cummax) / cummax
episodes = (prices == cummax).astype(int).cumsum()
results = []
for episode_id, group in prices.groupby(episodes):
peak_date = group.index[0]
peak_price = group.iloc[0]
group_drawdown = group - peak_price
trough_date = group_drawdown.idxmin()
trough_price = group.loc[trough_date]
min_dd = group_drawdown.min()
if min_dd <= -threshold:
results.append({
'peak_date': peak_date,
'trough_date': trough_date,
'peak_price': peak_price,
'trough_price': trough_price,
'drawdown': min_dd
})
return pd.DataFrame(results, columns=['peak_date', 'trough_date', 'peak_price',
'trough_price', 'drawdown'])
# 測試資料
prices = [100, 102, 101, 98
Gemini 審查結果 :
這段程式碼在數學定義上有致命錯誤（算錯回撤），且再次證實它在測試資料處因 Token 耗盡直接斷頭。雖然它表面上套用了 groupby(episodes) 的外殼，但在關鍵的數值運算上擅自竄改了邏輯，導致算出來的東西根本不是百分比回撤。錯誤如下 :
- 致命數學錯誤：把「百分比回撤」寫成「絕對價差」
- 執行期隱患：全 NaN 邊界處理漏失
- 上下文生成配額（Max Output Tokens）耗盡而斷頭
- MoE 模型的注意力衰減容易造成顧此失彼
總評 : DeepSeek-Coder-V2-Lite 在基礎數學概念 (金額 vs 百分比) 上居然出現低級走鐘, 且持續受限於 Token 而發生輸出截斷, 是這一連串測試的幾個模型中表現最糟的.
沒有留言 :
張貼留言