気のない男性からの誘い・・・
面倒だなぁと思われてることでしょう。
心中、お察しします。
ここはひとつ、あなたという人間に与えられた試練
ひとりの人間としてどう振る舞うかを試されてるんだと思って
きっちりと対応してみてくださいね。
まるっきり行く気がないのであれば
１回だけなら・・・と思わず、
「二人きりでは行けません」
と伝えてください。
おそらく、ですが、
あなたの態度に揺るぎがなく整然としていれば
相手もあきらめるはずですから。
周りの部下などに「○○ちゃん（あなたのこと）にフラれちゃったよ～」
といったことを漏らすんじゃないかと想像します。
そのことはいずれあなたの耳にも届くことでしょう。
でも、そんな時にも整然と、です。
厄介事、面倒なことかもしれませんが、
あなたのそういった整然とした態度・対応は
ある人にとっては（あなたが好意を抱いている人かもしれません）
とても好感のもてることかもしれませんし、
また「大変だね」と味方になってくれる人が出てくるかもしれませんから。
男性の視点予想から話します、
シチュエーションに関わらず、男が女性を誘うのに、社交辞令的なことはほとんどないです。
その女性に好意があるから誘うのです。質問者の方のキャラクターにもよりますが、要は言い方で、
陽気なキャラの方なら「えー、どうせなら皆で盛り上がったほうが面白いから皆で行こうよー」みたいな言い方で
いけば、相手も傷つけずに乗り切れると思います。そういうキャラでなければ、「そうですね、時間が合えば」程度に
社交辞令的な大人の言い方でいいと思います。受け取るほうとしては、そのほうがいいです。皆で行こうという言われ方だと、
完全に嫌われてるなという被害妄想的な発想になりがちなので・・・自分も経験あります。本当に好意がその女性にあれば、
何度か誘うと思いますが、上手く「その日は用事があるので・・・」とかわしていけばいいと思います。
質問者の方はすごく魅力的な方なのでしょうね（＾＾）