当借款人拒绝归还借款时，无论借款金额大小，都可以考虑向法院提起诉讼。以下是一些考虑因素：

首先，无论借款金额大小，如果借款合同中明确规定了还款日期和违约责任等条款，借款人应当按照合同约定履行还款义务。如果借款人拒绝归还借款，可以依据合同中的约定向法院提起诉讼，要求借款人承担违约责任

其次，即使借款金额较小，如果借款人拒绝归还借款，可能会影响双方的信任关系。因此，如果借款人没有正当理由拒绝归还借款，可以考虑向法院提起诉讼，要求借款人履行还款义务。

最后，如果借款金额较大，借款人拒绝归还借款可能会导致较大的经济损失。在这种情况下，可以考虑向法院提起诉讼，要求借款人承担违约责任，并赔偿因未归还借款而造成的经济损失。 总之，无论借款金额大小，如果借款人拒绝归还借款，可以根据具体情况考虑向法院提起诉讼。