Flume收集日志 - windows(配置版)

Flume的一些常见参数:

Windows配置Flume

windows环境下使用flume的权限问题:

commons-io缺包问题:

event未捕获到时间戳问题

hadoop缺包问题

flume上传到hdfs出现大量小文件问题(minBlockReplicas参数的配置)

JAVA程序log4j整合flume实现日志上传到HDFS

Flume分层收集日志

Flume异常及解决:

  • 异常java.nio.charset.MalformedInputException: Input length = 1

  • 解决:编码设置问题:https://blog.csdn.net/qq_32967001/article/details/66973094

  • 异常java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

  • 解决:hadoop环境变量未配置问题:https://blog.csdn.net/baidu_19473529/article/details/54693523