潘翥弟,潘浚子也。孙权以姊陈氏女妻之,调湘乡令。襄阳记曰:襄阳习温为荆州大公平。大公平,今之州都。秘过辞于温,问曰:“先君昔曰君侯当为州里议主,今果如其言,不审州里谁当复相代者?”温曰:“无过于君也。”后秘为尚书仆射,代温为公平,甚得州里之誉。