MapReduce实现大矩阵乘法

要点:

1.“<(i,k),(M,j,Mij)>,其中K=1、2、到N的列数”是因为M矩阵每一行需要跟N矩阵的所有列做乘法,需要复制多份保存,独立做乘法。

2.“将j值相同的Mij和Njk相乘”类似于一维数组对应元素相乘,因为此时M中的行和N中的列都成为了一维数组。

3.矩阵中为0的元素可以不用存储,由于第2点保证了相同j值的元素相乘不会导致乱序,同时0乘法的归零性。

ref:https://blog.csdn.net/xyilu/article/details/9066973https://blog.csdn.net/qq_30374549/article/details/80166168

maven包

 

metricbeat+kafka+hbase

一.Consumer

实例:http://blog.51cto.com/1054054

metricbeat+kafka:

Kafka笔记整理(一)

metricbeat对接kafka

Kafka module | Metricbeat Reference [6.3] | Elastic

kafka+hbase:

kafka数据导入hbase

Kafka 接受数据并消费到hbase数据库

kafkaToHbase

hbase提取kafka中的数据存储

Kafka-HBase integration

二.以上只是简单的消费者,以下添加了stream:

code:https://github.com/gongel/metricbeat-kafka-hbase/tree/master/Proj/src/main/java/cn/gongel

用到的是stream中的foreach:http://kafka.apache.org/11/documentation/streams/developer-guide/dsl-api#stateless-transformations

三.Q&A

1.KafkaStream时间戳问题CreateTime = -1引起的程序中断

2.基于Kubernetes在AWS上部署Kafka时遇到的一些问题

3.https://blog.csdn.net/gel1234/article/details/81224139

4.Q:client/metadata found some partitions to be leaderless

A:kafka停掉了。删除kafka-logs(或者data)目录下的文件,会导致kafka停止

四.扩展

Kafka源码分析-Content Table