我投资了一家工厂5W块钱对方只给我打了一 张XX投资了XX工厂5W块钱的条子现在我想拿回自己的5W块钱应该怎么办，如果对方不肯退钱可以去他工厂搬设备吗？

不可以搬设备。

既然是投资，就不可以轻易退股，对工厂亏损须承担风险，如有盈余也可以分享利润。