AI 時代的產品經理 PM / PO 的簡單生存指引

這兩年一直在帶團隊開發 AI 產品，結果因此發現，在 AI 時代下，產品經理 PM / PO 的角色，可能即將面臨很大的轉變。

甚至我們一直以來習以為常的軟體工程方法，都會受到挑戰，像是 Agile, Scrum 等等。

無論是「開發 AI 產品」，或是「用 AI 開發產品」。

簡單總結一些簡單的心得，先從「開發 AI 產品」開始。

開發 AI 產品

可能性

一開始開發 AI 產品的時候，光寫 PRD ，挫折就是很大的。

過去軟體產品，所謂的 Applicaiton，一個 input ，就是產生對應的 output，是絕對的，100%，沒有 100% 就是 Bug。

要做 AI 產品，譬如 Agent，一個 input，他會產品的 output，不會是 100%，他會產出一種可能性，Possibility。甚至同樣的 input，每次的 output 都不會一樣。

產出無法覆現，產出的正確性也無法 100%，傳統上這種軟體產品是一種災難，無法想像要怎麼上線？

所以在這樣的前提下，就要找出那些產出不需要 100% 的功能場景。某些功能場景，產出「可能性」是毫無違和的，在零售電商領域，「推薦（Recommendatiaon）」就是一種經典案例。

推薦功能，產出的結果，本來就很難說對錯，而且每一次結果都不同，也似乎反而完全合理。

挑對題目（選對戰場），是 PM 很關鍵的第一步。

實驗設計

做 Application 就是做系統，系統就是給清楚的指令，一個指令，一個動作。

做 AI 產品則有點像是在....「教小孩」，小孩就是你對他有期待，但他不一定照著來，會有時卻又超乎你的期待，讓你又期待又怕受傷害。

結果第一版做出來，他的表現不符合期待的，接下來，工程師們（或資料科學家們）就會做一些「微調」，改一些參數，調一下權重，再重新訓練，訓練完再看看他的表現。

就像小孩叛逆，只好重新調整教育方針，但你也不知道對不對。

但工程師們做微調，調調那個參數，加一下這個權重，真的事前就知道調哪個有用嗎？不要問，很可怕，都是做個假設，有沒有用不知道，大膽假設，小心求證。

只能實驗。

整個開發流程，就是一種實驗流程。而 「實驗設計」是整個循環的核心，也變成 AI 時代下產品經理 PM 的關鍵能力之一。

數據

當工程師做出第一版推薦功能時，你試了一下（眉頭一皺）「這不是我要的」。工程師會問說，那你覺得想看到什麼？

身為合格的 PM，你不能只說你不要什麼，你要說清楚你要什麼。

就像教小孩一樣，看到小孩表現的不是你要的，不能一直說：那個不要碰、不要哭、不要那樣、不要吵。小孩只是知道你不要怎樣，但你到底要小孩怎樣？

就像推薦系統，你會舉例說，這個用戶 A，他之前有這些行為，他現在正在這個商品頁，所以我希望他看到 X, Y ,Z 這些商品，因為這些商品有 甲、乙、丙這些標籤。

工程師說，很好，像這種東西，你再多說一點。

就像教小孩一樣，你要不停舉例，你希望他如何，而希望他透過豐富的範例，Sample，然後能夠舉一反三。

盡可能舉出更多的範例，有 X 的 input，就希望看到 Y 的 input，盡量列舉出來，越多的 input - output 數據集，AI 就能學的更像你希望他表現出來的樣子。

身為 PM，「數據」甚至就是你的 PRD。

評估

一個版本出來的推薦系統到底好不好？什麼叫做好？什麼叫不好？好，是多好？如果滿分是一百分，現在是幾分？

也就是要能做明確的「評估」。

無法量測的事物就無法管理。

AI 產品開發就是實驗的循環，而實驗結果要可以量測，有明確的指標，才能知道實驗是成功還是失敗。

「評估」設計，與評估結果的定義，也是 PM 非常重要的工作。

AI 產品的開發工作，很難走傳統的 PDCA 循環，好像可以 Plan，但是很難照著 Do。

如果要 Plan 就是做實驗設計 Design，然後要走的是 Data 數據集準備 > Training 訓練 > Evaluation 評估 的循環。

評估 evaluation 是整個循環裡非常關鍵的一件事。

就像考試，對老師來說，有時候考券的設計，比教學本身還難，要設計一張考券可以公平的評量學生的學習程度，是一個挑戰。

邊界

AI 感覺無所不能，但事實上，不同模型也有他的專精。

就連 ChatGPT 也會區分模型，從 4o, o1, 到 o3，4o-mini 速度快，可以用於一般快速詢問，而 o1 則會反覆思考，可以針對單一主題作深入研究，回應時間也較慢。

我們在做產業 AI 模型，也需要定義清楚模型的能力邊界。特定模型可以專注做好一件事，不需要無所不能。

邊界可以事先定義，但最後是收斂出來的。在模型調校的過程中，依據模型出來的表現，邊界會有移動、縮小、甚至會意外跑到你沒有想到的地方。

就像考試一樣，考券有數學、英文、地理，某個學生（模型）英文考得不好、但意外的數學考得特別好。在這一組參數的模型的實驗結果之上，可能要重新調整對這個模型的期待，重新劃定邊界。

上一篇討論到「AI 時代的產品設計」，也談到 Agent 的設計，是 AI + Application。Agent 設計裡面，既有 Application 的核心功能邊界到哪裡，也是一種邊界問題，而 Agent 本身的能力設定，也是另一個邊界問題。

邊界的定義與修正，有時候會決定 AI 產品發展的成敗，尤其在公司內部的資源有限的情況下。

這些都是 AI 時代下，產品經理所需要的能力。

--

以上談的是「開發 AI 產品」，但「用 AI 開發產品」又是另一個故事了。（下回待續）

訂閱電子報已追蹤更新：訂閱電子報