茶叶水不是不可以喝，但是需要注意以下几点：
1.卫生问题：冬天的茶叶水可能会在室温下保存一整夜，容易滋生细菌，导致茶叶水变质，因此在喝之前需要检查茶叶水的色、味、气味等是否正常，若有异常则不建议饮用。
2.温度问题：冬天的茶叶水容易降温，若不注意加热，则可能会导致冷热不均，影响到茶叶水的口感。
3.茶叶问题：冬天的茶叶易潮湿，若不注意储存，会导致茶叶变质，影响到茶叶水的质量。
因此，建议冬天过夜的茶叶水在饮用前要进行检查，不建议长时间保存而且最好在第二天状态下喝掉。否则，建议重新泡茶，确保健康安全。