不可以.
under the influence of 是指一个人在【被】外界物质的影响下.最常见的是用在受药物、酒精或不良因素的影响.如：driving under the influence是指酒后或服药驾车.
with the influence of是中性的,不含贬义.
所以互换时要谨慎.