apache flume 예제

수로의 맥락에서 호환성이 중요합니다: Avro 이벤트에는 Avro 소스가 필요하며 싱크대는 대상에 적합한 이벤트를 제공해야 합니다. 이러한 거울 중 한 개만 클릭하여 다운로드를 시작할 수 있는 미러 목록으로 리디렉션됩니다. 같은 방법으로, 당신은 아파치 수로 1.6.0-src.tar.gz를 클릭하여 아파치 수로의 소스 코드를 다운로드 할 수 있습니다. 아파치 수로는 여러 유형의 소스를 지원하며 각 소스는 지정된 데이터 생성기에서 이벤트를 수신합니다. 여기서는 단일 노드 수로 배포를 설명하는 예제 구성 파일을 제공합니다. 이 구성을 통해 사용자는 이벤트를 생성하고 콘솔에 기록할 수 있습니다. 지원되는 유일한 직렬화는 avro이며, 레코드 스키마는 이벤트 헤더에 전달되어야 하며, jSON 스키마 표현이 있는 flume.avro.schema.lite를 사용하거나 스키마를 찾을 수 있는 URL이 있는 url(HDFs:/… URI가 지원됩니다). 이것은 Log4jAppender 수로 클라이언트 및 deserializer.schemaType = LITERAL을 사용하여 스풀링 디렉토리 소스의 Avro 디직리터라이저와 호환됩니다.

아파치 수로는 Cloudera에 의해 개발되었으며 웹 서버에서 생성된 대량의 로그 파일을 Hadoop으로 빠르고 안정적으로 스트리밍할 수 있는 방법을 제공합니다. 응용 프로그램은 분산 환경에서 데이터에 대한 추가 분석을 수행할 수 있습니다. 처음에 아파치 수로는 로그 데이터만 처리하도록 개발되었습니다. 나중에 이벤트 데이터도 처리할 수 있도록 장착되었습니다. 이 설정 으로 에이전트 호출에 자바 시스템 속성을 통해 활성화할 수 있습니다구현 = org.apache.flume.node.EnvVarResolverProperties. 우리는 아파치 수로가 무엇인지에 대해 논의하여이 수로 자습서를 시작됩니다. 그런 다음 앞으로 이동, 우리는 수로를 사용하는 장점을 이해합니다. 원본은 데이터를 검색하기 위해 셸에서 명령을 실행하도록 구성됩니다. Apache2 서버로 가정되며 로그 위치가 변경되지 않았습니다. 위치는 요구 사항에 따라 달라질 수 있습니다. 그런 다음 카프카 소스가 시작된 데이터 센터를 정의하는 각 이벤트에 대한 헤더를 소개하는 것은 카프카 토픽의 메시지를 읽는 아파치 카프카 소비자입니다. 여러 Kafka 소스가 실행 중인 경우 각 소스가 항목에 대한 고유한 파티션 집합을 읽을 수 있도록 동일한 소비자 그룹으로 구성할 수 있습니다.

이는 현재 Kafka 서버 릴리스0.10.1.0 이상을 지원합니다. 테스트는 릴리스 당시 가장 높은 버전인 2.0.1까지 수행되었습니다. SolrCloud 클러스터로 라우팅하는 것이 지원되어 확장성을 향상시킵니다. 인덱싱 로드는 확장성을 향상위해 많은 수의 MorphlineSolrSink에 분산될 수 있습니다. 인덱싱 로드는 예를 들어 로드 밸런싱 싱크 프로세서와 같은 수로 기능을 사용하여 고가용성을 위해 여러 MorphlineSolrSink에서 복제할 수 있습니다. 모프라인인터내버를 사용하면 다중 Solr 컬렉션에 동적 라우팅을 구현하는 데도 도움이 될 수 있습니다(예: 다중 테넌시). Hadoop 분산 파일 시스템 (HDFS)에서 끝나는 데이터 중 일부는 데이터베이스 로드 작업 또는 다른 유형의 배치 프로세스를 통해 이 곳에 착륙 할 수 있지만 응용 프로그램 로그와 같이 처리량이 높은 데이터 스트림으로 흐르는 데이터를 캡처하려면 어떻게해야합니까? 데이터? 아파치 수로는 쉽고 효율적이며 안전하게 할 수있는 현재의 표준 방법입니다. 아파치 수로에는 몇 가지 제한사항이 있습니다. 우선, 여러 소스에서 여러 대상으로 데이터를 스트리밍할 때 아키텍처가 복잡하고 관리하기 어렵고 관리하기가 어려워질 수 있습니다.

이 버전의 수로는 이전 버전과 이전 버전과 이전 버전과 이전 버전과 호환되지만 더 이상 사용되지 않는 속성은 아래 표에 표시되며 구성 파일에 있을 때 시작 시 경고 메시지가 기록됩니다. 인터셉터는 소스와 채널 간에 전송되는 수로 이벤트를 변경/검사하는 데 사용됩니다. 아키텍처는 이러한 혜택으로 아파치 수로를 강화하는 하나입니다.

Bookmark the permalink.

Comments are closed.