0%
这是一片思考的空间 -- arthinking
Spring 重构&代码整洁之道 软件设计 JVM 并发编程 数据结构与算法 分布式 存储 网络 微服务 设计模式
Java技术栈 - 涉及Java技术体系

Memcached使用getMulti造成的性能问题

有这样一个场景:使用getMulti一次性读取一个系列的所有手机100个key,请求了100万次,系统最初只有一个MC服务器,随着访问量的增加,负载加大了,于是增加了几个MC服务器,但结果负载反而更加大了。

原因是开始那100个key在一台服务器上获取,现在分不到了几MC服务器,需要访问的服务器增多了,而关键性的因素是我们用到的MC客户端memcached-client,其中的AscIIClient如下:

public Map<String, Object> getMulti(String[] keys, Integer[] hashCodes, boolean asString)
{
if ((keys == null) || (keys.length == 0)) {
if (log.isErrorEnabled())
log.error("missing keys for getMulti()");
return null;
}

Map cmdMap = new HashMap();
String[] cleanKeys = new String[keys.length];
for (int i = 0; i < keys.length; i++) {
  String key = keys[i];
  if (key == null) {
    if (log.isErrorEnabled())
      log.error("null key, so skipping");
  }
  else
  {
    Integer hash = null;
    if ((hashCodes != null) && (hashCodes.length > i)) {
      hash = hashCodes[i];
    }
    cleanKeys[i] = key;
    try {
      cleanKeys[i] = sanitizeKey(key);
    }
    catch (UnsupportedEncodingException e) {
      if (this.errorHandler != null)
        this.errorHandler.handleErrorOnGet(this, e, key);
      if (log.isErrorEnabled())
        log.error("failed to sanitize your key!", e);
      continue;
    }

    SchoonerSockIO sock = this.pool.getSock(cleanKeys[i], hash);

    if (sock == null) {
      if (this.errorHandler != null) {
        this.errorHandler.handleErrorOnGet(this, new IOException("no socket to server available"), key);
      }
    }
    else
    {
      if (!cmdMap.containsKey(sock.getHost())) {
        cmdMap.put(sock.getHost(), new StringBuilder("get"));
      }
      ((StringBuilder)cmdMap.get(sock.getHost())).append(new StringBuilder().append(" ").append(cleanKeys[i]).toString());

      sock.close();
    }
  }
}
if (log.isDebugEnabled()) {
  log.debug(new StringBuilder().append("multi get socket count : ").append(cmdMap.size()).toString());
}

Map ret = new HashMap(keys.length);

new NIOLoader(this).doMulti(asString, cmdMap, keys, ret);

for (int i = 0; i < keys.length; i++)
{
  if ((!keys[i].equals(cleanKeys[i])) && (ret.containsKey(cleanKeys[i]))) {
    ret.put(keys[i], ret.get(cleanKeys[i]));
    ret.remove(cleanKeys[i]);
  }

}

if (log.isDebugEnabled())
  log.debug(new StringBuilder().append("++++ memcache: got back ").append(ret.size()).append(" results").toString());
return ret;

}

请求多台服务器是串行的,结果导致客户端操作时间累加,请求堆积,最终导致性能下降。

解决方法有两个:

一是把串行请求改为并行请求,可以参考spymemcached的并行实现:

  • 第一步,将本次操作构造成一个针对每个 node 的 Operation 对象,加入连接对象中;
  • 第二步,在连接对象中,将所有的 node 操作放入 addedQueue 队列,然后触发 Selector 方式异步非阻塞的执行;

一是把key根据一个系列的手机散列不同的MC服务器上,这样就达到请求一台服务器获取所有的内容了,不过根据就不同的业务场景散列方法也不同,比较不好处理。

或者不使用getMulti这个方法了

必须使用getMulti方法的时候可以把缓存数据复制到另一个memcache集群上,一个集群负责读取一半的keys,但是又会引发需要更多的CPU的问题。

旁观者的博客也分析了这类分析,很透彻,提供给大家参考下

欢迎关注我的其它发布渠道

订阅IT宅
内功修炼
Java技术栈
Java架构杂谈是IT宅精品文章公众号,欢迎订阅:
📄 网络基础知识:两万字长文50+张趣图带你领悟网络编程的内功心法 📄 HTTP发展史:三万长文50+趣图带你领悟web编程的内功心法 📄 HTTP/1.1:可扩展,可靠性,请求应答,无状态,明文传输 📄 HTTP/1.1报文详解:Method,URI,URL,消息头,消息体,状态行 📄 HTTP常用请求头大揭秘 📄 HTTPS:网络安全攻坚战 📄 HTTP/2:网络安全传输的快车道 📄 HTTP/3:让传输效率再一次起飞 📄 高性能网络编程:图解Socket核心内幕以及五大IO模型 📄 高性能网络编程:三分钟短文快速了解信号驱动式IO 📄 高性能网络编程:彻底弄懂IO复用 - IO处理杀手锏,带您深入了解select,poll,epoll 📄 高性能网络编程:异步IO:新时代的IO处理利器 📄 高性能网络编程:网络编程范式 - 高性能服务器就这么回事 📄 高性能网络编程:性能追击 - 万字长文30+图揭秘8大主流服务器程序线程模型
📄 Java内存模型:如果有人给你撕逼Java内存模型,就把这些问题甩给他 📄 一文带你彻底理解同步和锁的本质(干货) 📄 AQS与并发包中锁的通用实现 📄 ReentrantLock介绍与使用 📄 ReentrantReadWriteLock介绍与使用 📄 ReentrantLock的Condition原理解析 📄 如何优雅的中断线程 📄 如何优雅的挂起线程 📄 图解几个好玩的并发辅助工具类 📄 图解BlockingQueue阻塞队列
📄 消息队列那么多,为什么建议深入了解下RabbitMQ? 📄 高并发异步解耦利器:RocketMQ究竟强在哪里? 📄 Kafka必知必会18问:30+图带您看透Kafka
📄 洞悉MySQL底层架构:游走在缓冲与磁盘之间 📄 SQL运行内幕:从执行原理看调优的本质 📄 洞悉Redis技术内幕:缓存,数据结构,并发,集群与算法