FlowmonとVMwareの互換性がないため、バージョンアップに失敗します。
下記手順にて仮想基盤側（VMware）のバージョンアップをご実施ください。
Flowmonと互換性のあるESXiバージョンは下記の通りです。
Flowmon OS ver12.04以前：ESXi 4.0以上と互換性あり
Flowmon OS ver12.05以降：ESXi 6.5以上と互換性あり
手順：
1. VMwareのGUI画面より、Flowmonをシャットダウンします
2. 画面左側の該当仮想マシン一覧より該当マシン名を右側クリックし、「仮想マシンの互換性のアップグレード」を選択します
3. ESXi 6.5以上のものを選択し、保存します
4. 6.5以上になったら、Flowmonをパワーオンします
5. FlowmonのGUI画面に戻り、バージョンアップを再度お試しください