关于团队的事情

事情是这样的，最近想做一个项目，后来客户委托给他知道的一个组织了，个组织的负责人就来找我，因为他们本来没有技术团队，想让我加入然后作为技术负责，做完这个项目并且组建技术团队。招人也是他们在负责。
最近他们确定了人员之后我们开始开会，但是期间我说应该把软件工程相关的图给出来，组员当时就说看数据库的表不就好了，我就再提了一次，然后他就发火了，说我不怎么仔细看这些表，还当什么技术负责，我当时也没说什么。
之后，这个组织的负责人就在群里说我说话不要直接，我说我作为技术负责这样的要求不是正常的吗？分工不同为什么组员可以随便指责我？他就不高兴了，说我抱怨够了吧，以后团队起来了你不就是他们的领导，不要单纯使用命令式的管理，要好好地提需求。
平时组织负责人都是以普通用户需求来提供功能的并分配任务，并不怎么懂技术，我的位置就像提供咨询而不是负责，相当于没什么权力。我怕到项目完不成别人会说是技术负责工作不到位，完成了别人会说技术负责人的贡献又不多，为什么要分那么多钱。
我就有点犹豫了，现在是不是应该退出？避免以后的矛盾和麻烦。