Как поступить?

Добрый день!
Живу в одной из восточных стран, где иные обычаи, а дружба между женщиной и мужчиной не поощряется. Полгода назад мне в одноклассники написал парень, с которым училась в одной школе. У него семья, ребенок. Писал, что хочет просто со мной общаться и больше ничего. Я по глупости решилась с ним встретиться. Всего виделись мы пять раз. Просто сидели в кафе, гуляли. Он рассказывал о своей жизни, семье. Говорил, что ему приятно мое общество. Возил на свой машине меня и мою подругу в другой город - посмотреть на старую крепость (по своей же инициативе, не я просила). Ничего между нами не было.
Теперь меня тяготит даже мысль встречи с ним, скучно, ну и поняла, что он хочет использовать меня для своих целей. Мне не хочется больше с ним общаться - интуитивно уверена, что общение с ним создаст в будущем проблемы. Но чувствую, что многим ему обязана (кафе, поездки). Помню, в последнюю поездку он сказал: "если твоя мать узнает, что ты сидишь в моей машине, то будет таскать за волосы". Это был уже серьезный сигнал. Важная деталь: моя подруга, которая тоже была в поездке с нами - русская, из Питера. В тот день он не проявлял к ней никакого интереса, а когда она уехала - тайно от меня написал в соц. сети, что мол как долетела? И как дела? Подруга не стала отвечать, а я ему написала, что это некрасиво с его стороны так поступать. Мы сильно поссорились. В переписке вел себя как женщина-истеричка. Я сообщила, что разочарована в нем и больше не буду общаться. Хотя позже смягчила тон (боюсь, что может сделать мне гадость, придти вечером к нам домой или что-то рассказать друзьям брата - а те уже брату). Хочу потихоньку от него избавиться, но как не знаю. Прошу вас посоветовать как мне поступить так, чтобы тихо, без истерик свести общение на нет. Не резко рвать, провоцируя, а вот каким-то способом сделать так, чтобы само собой ушло все на нет.
У меня строгие родители и братья. Если они узнают, что я с ним просто встречалась - будет огромный скандал - очень боюсь и переживаю.
Спасибо.