上海羊羽卓進(jìn)出口貿(mào)易有限公司網(wǎng)關(guān)超時(shí)（504 Gateway Time-out）
一、Ajax設(shè)置超時(shí)時(shí)長
var ajaxTimeoutTest=$.ajax({
url:'',//請(qǐng)求地址
timeout:1000,//超時(shí)時(shí)間設(shè)置， 單位毫秒
type:'GET',//get或post
data :{}, //請(qǐng)求所傳參數(shù)，json格式
dataType:'json',//返回的數(shù)據(jù)格式
success:function(data){ //請(qǐng)求成功的回調(diào)函數(shù)
alert("成功");
},
complete : function(XMLHttpRequest,status){ //請(qǐng)求完成后最終執(zhí)行參數(shù)
if(status=='timeout'){//超時(shí),status還有success,error等值的情況
ajaxTimeoutTest.abort();
alert("超時(shí)");
}
}
})
二、nginx訪問出現(xiàn)504 Gateway Time-out
分析
nginx訪問出現(xiàn)504 Gateway Time-out，一般是由于程序執(zhí)行時(shí)間過長導(dǎo)致響應(yīng)超時(shí)，例如導(dǎo)入一批大數(shù)據(jù)導(dǎo)致前端等待很長時(shí)間，這樣就會(huì)出現(xiàn)超時(shí)。
通常修改nginx以下配置可以解決問題
nginx.conf中，設(shè)置以下幾個(gè)參數(shù)，增加超時(shí)時(shí)間
http {
...
fastcgi_connect_timeout 30000;
fastcgi_send_timeout 30000;
fastcgi_read_timeout 30000;
...
}
fastcgi_connect_timeout：連接超時(shí)時(shí)間，默認(rèn)60秒
fastcgi_send_timeout：發(fā)送請(qǐng)求過程的超時(shí)時(shí)間，默認(rèn)值60秒
fastcgi_read_timeout：發(fā)送輸出過程的超時(shí)時(shí)間，默認(rèn)值60秒
server {
listen 8080;
location / {
proxy_pass http://xxx.com/api;
proxy_connect_timeout 30000;
proxy_send_timeout 30000;
proxy_read_timeout 30000;
}
}
proxy_connect_timeout 30000s;#nginx跟后端服務(wù)器連接超時(shí)時(shí)間(代理連接超時(shí))
proxy_send_timeout 30000s;#后端服務(wù)器數(shù)據(jù)回傳時(shí)間(代理發(fā)送超時(shí))
proxy_read_timeout 30000s;#連接成功后，后端服務(wù)器響應(yīng)時(shí)間(代理接收超時(shí))
三、更改MySQL數(shù)據(jù)庫超時(shí)時(shí)間
1.查看當(dāng)前鎖超時(shí)時(shí)間
show variables like 'innodb_lock_wait_timeout';
2.查看全局鎖超時(shí)時(shí)間
SHOW GLOBAL VARIABLES LIKE 'innodb_lock_wait_timeout';
3.更改當(dāng)前鎖超時(shí)時(shí)間為120秒
SET innodb_lock_wait_timeout=120;
4.更改全局鎖超時(shí)時(shí)間為120秒
SET GLOBAL innodb_lock_wait_timeout=120;
驚呆了，RPC超時(shí)設(shè)置竟然引發(fā)了線上事故！
這篇文章將通過一個(gè)真實(shí)的線上事故，系統(tǒng)性地介紹：在微服務(wù)架構(gòu)下，該如何正確理解并設(shè)置 RPC 接口的超時(shí)時(shí)間，讓大家在開發(fā)服務(wù)端接口時(shí)有更全局的視野。
圖片來自 Pexels
上面這張監(jiān)控圖，對(duì)于服務(wù)端的研發(fā)同學(xué)來說再熟悉不過了。在日常的系統(tǒng)維護(hù)中，“服務(wù)超時(shí)”應(yīng)該屬于監(jiān)控報(bào)警最多的一類問題。
尤其在微服務(wù)架構(gòu)下，一次請(qǐng)求可能要經(jīng)過一條很長的鏈路，跨多個(gè)服務(wù)調(diào)用后才能返回結(jié)果。
當(dāng)服務(wù)超時(shí)發(fā)生時(shí)，研發(fā)同學(xué)往往要抽絲剝繭般去分析自身系統(tǒng)的性能以及依賴服務(wù)的性能，這也是為什么服務(wù)超時(shí)相對(duì)于服務(wù)出錯(cuò)和服務(wù)調(diào)用量異常更難調(diào)查的原因。
本篇文章將分成以下四個(gè)部分：
從一次 RPC 接口超時(shí)引發(fā)的線上事故說起超時(shí)的實(shí)現(xiàn)原理是什么?設(shè)置超時(shí)時(shí)間到底是為了解決什么問題?應(yīng)該如何合理的設(shè)置超時(shí)時(shí)間?從一次 RPC 接口超時(shí)引發(fā)的線上事故說起
事故發(fā)生在電商 APP 的首頁推薦模塊，某天中午突然收到用戶反饋：APP 首頁除了 banner 圖和導(dǎo)航區(qū)域，下方的推薦模塊變成空白頁了(推薦模塊占到首頁 2/3 的空間，是根據(jù)用戶興趣由算法實(shí)時(shí)推薦的商品 list)。
上面的業(yè)務(wù)場景可以借助上圖的調(diào)用鏈來理解：
APP 端發(fā)起一個(gè) HTTP 請(qǐng)求到業(yè)務(wù)網(wǎng)關(guān)。業(yè)務(wù)網(wǎng)關(guān) RPC 調(diào)用推薦服務(wù)，獲取推薦商品 list。如果第 2 步調(diào)用失敗，則服務(wù)降級(jí)，改成 RPC 調(diào)用商品排序服務(wù)，獲取熱銷商品 list 進(jìn)行托底。如果第 3 步調(diào)用失敗，則再次降級(jí)，直接獲取 Redis 緩存中的熱銷商品 list。粗看起來，兩個(gè)依賴服務(wù)的降級(jí)策略都考慮進(jìn)去了，理論上就算推薦服務(wù)或者商品排序服務(wù)全部掛掉，服務(wù)端都應(yīng)該可以返回?cái)?shù)據(jù)給 APP 端。
但是 APP 端的推薦模塊確實(shí)出現(xiàn)空白了，降級(jí)策略可能并未生效，下面詳細(xì)說下定位過程。
問題定位過程
第 1 步 ：APP 端通過抓包發(fā)現(xiàn)：HTTP 請(qǐng)求存在接口超時(shí)(超時(shí)時(shí)間設(shè)置的是 5 秒)。
第 2 步 ：業(yè)務(wù)網(wǎng)關(guān)通過日志發(fā)現(xiàn)：調(diào)用推薦服務(wù)的 RPC 接口出現(xiàn)了大面積超時(shí)(超時(shí)時(shí)間設(shè)置的是 3 秒)。
錯(cuò)誤信息如下：
第 3 步 ：推薦服務(wù)通過日志發(fā)現(xiàn)：Dubbo 的線程池耗盡。
錯(cuò)誤信息如下：
通過以上 3 步，基本就定位到了問題出現(xiàn)在推薦服務(wù)，后來進(jìn)一步調(diào)查得出：是因?yàn)橥扑]服務(wù)依賴的 Redis 集群不可用導(dǎo)致了超時(shí)，進(jìn)而導(dǎo)致線程池耗盡。
詳細(xì)原因這里不作展開，跟本文要討論的主題相關(guān)性不大。
降級(jí)策略未生效的原因分析
下面再接著分析下：當(dāng)推薦服務(wù)調(diào)用失敗時(shí)，為什么業(yè)務(wù)網(wǎng)關(guān)的降級(jí)策略沒有生效呢?理論上來說，不應(yīng)該降級(jí)去調(diào)用商品排序服務(wù)進(jìn)行托底嗎?
最終跟蹤分析找到了根本原因：APP 端調(diào)用業(yè)務(wù)網(wǎng)關(guān)的超時(shí)時(shí)間是 5 秒，業(yè)務(wù)網(wǎng)關(guān)調(diào)用推薦服務(wù)的超時(shí)時(shí)間是 3 秒，同時(shí)還設(shè)置了 3 次超時(shí)重試。
這樣當(dāng)推薦服務(wù)調(diào)用失敗進(jìn)行第 2 次重試時(shí)，HTTP 請(qǐng)求就已經(jīng)超時(shí)了，因此業(yè)務(wù)網(wǎng)關(guān)的所有降級(jí)策略都不會(huì)生效。
下面是更加直觀的示意圖：
解決方案
解決方案如下：
將業(yè)務(wù)網(wǎng)關(guān)調(diào)用推薦服務(wù)的超時(shí)時(shí)間改成了 800ms(推薦服務(wù)的 TP99 大約為 540ms)，超時(shí)重試次數(shù)改成了 2 次。將業(yè)務(wù)網(wǎng)關(guān)調(diào)用商品排序服務(wù)的超時(shí)時(shí)間改成了 600ms(商品排序服務(wù)的 TP99 大約為 400ms)，超時(shí)重試次數(shù)也改成了 2 次。關(guān)于超時(shí)時(shí)間和重試次數(shù)的設(shè)置，需要考慮整個(gè)調(diào)用鏈中所有依賴服務(wù)的耗時(shí)、各個(gè)服務(wù)是否是核心服務(wù)等很多因素。這里先不作展開，后文會(huì)詳細(xì)介紹具體方法。
超時(shí)的實(shí)現(xiàn)原理是什么?
只有了解了 RPC 框架的超時(shí)實(shí)現(xiàn)原理，才能更好地去設(shè)置它。不論是 Dubbo、Spring Cloud 或者大廠自研的微服務(wù)框架(比如京東的 JSF)，超時(shí)的實(shí)現(xiàn)原理基本類似。
下面以 Dubbo 2.8.4 版本的源碼為例來看下具體實(shí)現(xiàn)。熟悉 Dubbo 的同學(xué)都知道，可在兩個(gè)地方配置超時(shí)時(shí)間：分別是 Provider(服務(wù)端，服務(wù)提供方)和 Consumer(消費(fèi)端，服務(wù)調(diào)用方)。
服務(wù)端的超時(shí)配置是消費(fèi)端的缺省配置，也就是說只要服務(wù)端設(shè)置了超時(shí)時(shí)間，則所有消費(fèi)端都無需設(shè)置，可通過注冊(cè)中心傳遞給消費(fèi)端。
這樣：一方面簡化了配置，另一方面因?yàn)榉?wù)端更清楚自己的接口性能，所以交給服務(wù)端進(jìn)行設(shè)置也算合理。
Dubbo 支持非常細(xì)粒度的超時(shí)設(shè)置，包括：方法級(jí)別、接口級(jí)別和全局。如果各個(gè)級(jí)別同時(shí)配置了，優(yōu)先級(jí)為：消費(fèi)端方法級(jí)>服務(wù)端方法級(jí)>消費(fèi)端接口級(jí)>服務(wù)端接口級(jí)>消費(fèi)端全局>服務(wù)端全局。
通過源碼，我們先看下服務(wù)端的超時(shí)處理邏輯：
可以看到，服務(wù)端即使超時(shí)，也只是打印了一個(gè) warn 日志。因此，服務(wù)端的超時(shí)設(shè)置并不會(huì)影響實(shí)際的調(diào)用過程，就算超時(shí)也會(huì)執(zhí)行完整個(gè)處理邏輯。
再來看下消費(fèi)端的超時(shí)處理邏輯：
FailoverCluster 是集群容錯(cuò)的缺省模式，當(dāng)調(diào)用失敗后會(huì)切換成調(diào)用其他服務(wù)器。
再看下 doInvoke 方法，當(dāng)調(diào)用失敗時(shí)，會(huì)先判斷是否是業(yè)務(wù)異常，如果是則終止重試，否則會(huì)一直重試直到達(dá)到重試次數(shù)。
繼續(xù)跟蹤 Invoker 的 Invoke 方法，可以看到在請(qǐng)求發(fā)出后通過 Future 的 get 方法獲取結(jié)果。
源碼如下：
進(jìn)入方法后開始計(jì)時(shí)，如果在設(shè)定的超時(shí)時(shí)間內(nèi)沒有獲得返回結(jié)果，則拋出 TimeoutException。
因此，消費(fèi)端的超時(shí)邏輯同時(shí)受到超時(shí)時(shí)間和超時(shí)次數(shù)兩個(gè)參數(shù)的控制，像網(wǎng)絡(luò)異常、響應(yīng)超時(shí)等都會(huì)一直重試，直到達(dá)到重試次數(shù)。
設(shè)置超時(shí)時(shí)間是為了解決什么問題?
RPC 框架的超時(shí)重試機(jī)制到底是為了解決什么問題呢?從微服務(wù)架構(gòu)這個(gè)宏觀角度來說，它是為了確保服務(wù)鏈路的穩(wěn)定性，提供了一種框架級(jí)的容錯(cuò)能力。
微觀上如何理解呢?可以從下面幾個(gè)具體 case 來看：
①Consumer 調(diào)用 Provider，如果不設(shè)置超時(shí)時(shí)間，則 Consumer 的響應(yīng)時(shí)間肯定會(huì)大于 Provider 的響應(yīng)時(shí)間。
當(dāng) Provider 性能變差時(shí)，Consumer 的性能也會(huì)受到影響，因?yàn)樗仨殶o限期地等待 Provider 的返回。
假如整個(gè)調(diào)用鏈路經(jīng)過了 A、B、C、D 多個(gè)服務(wù)，只要 D 的性能變差，就會(huì)自下而上影響到 A、B、C，最終造成整個(gè)鏈路超時(shí)甚至癱瘓，因此設(shè)置超時(shí)時(shí)間是非常有必要的。
②假設(shè) Consumer 是核心的商品服務(wù)，Provider 是非核心的評(píng)論服務(wù)，當(dāng)評(píng)價(jià)服務(wù)出現(xiàn)性能問題時(shí)，商品服務(wù)可以接受不返回評(píng)價(jià)信息，從而保證能繼續(xù)對(duì)外提供服務(wù)。
這樣情況下，就必須設(shè)置一個(gè)超時(shí)時(shí)間，當(dāng)評(píng)價(jià)服務(wù)超過這個(gè)閾值時(shí)，商品服務(wù)不用繼續(xù)等待。
③Provider 很有可能是因?yàn)槟硞€(gè)瞬間的網(wǎng)絡(luò)抖動(dòng)或者機(jī)器高負(fù)載引起的超時(shí)，如果超時(shí)后直接放棄，某些場景會(huì)造成業(yè)務(wù)損失(比如庫存接口超時(shí)會(huì)導(dǎo)致下單失敗)。
因此，對(duì)于這種臨時(shí)性的服務(wù)抖動(dòng)，如果在超時(shí)后重試一下是可以挽救的，所以有必要通過重試機(jī)制來解決。
但是引入超時(shí)重試機(jī)制后，并非一切就完美了。它同樣會(huì)帶來副作用，這些是開發(fā) RPC 接口必須要考慮，同時(shí)也是最容易忽視的問題：
①重復(fù)請(qǐng)求 ：有可能 Provider 執(zhí)行完了，但是因?yàn)榫W(wǎng)絡(luò)抖動(dòng) Consumer 認(rèn)為超時(shí)了，這種情況下重試機(jī)制就會(huì)導(dǎo)致重復(fù)請(qǐng)求，從而帶來臟數(shù)據(jù)問題，因此服務(wù)端必須考慮接口的冪等性。
②降低 Consumer 的負(fù)載能力 ：如果 Provider 并不是臨時(shí)性的抖動(dòng)，而是確實(shí)存在性能問題，這樣重試多次也是沒法成功的，反而會(huì)使得 Consumer 的平均響應(yīng)時(shí)間變長。
比如正常情況下 Provider 的平均響應(yīng)時(shí)間是 1s，Consumer 將超時(shí)時(shí)間設(shè)置成 1.5s，重試次數(shù)設(shè)置為 2 次。
這樣單次請(qǐng)求將耗時(shí) 3s，Consumer 的整體負(fù)載就會(huì)被拉下來，如果 Consumer 是一個(gè)高 QPS 的服務(wù)，還有可能引起連鎖反應(yīng)造成雪崩。
③爆炸式的重試風(fēng)暴 ：假如一條調(diào)用鏈路經(jīng)過了 4 個(gè)服務(wù)，最底層的服務(wù) D 出現(xiàn)超時(shí)，這樣上游服務(wù)都將發(fā)起重試。
假設(shè)重試次數(shù)都設(shè)置的 3 次，那么 B 將面臨正常情況下 3 倍的負(fù)載量，C 是 9 倍，D 是 27 倍，整個(gè)服務(wù)集群可能因此雪崩。
應(yīng)該如何合理的設(shè)置超時(shí)時(shí)間?
理解了 RPC 框架的超時(shí)實(shí)現(xiàn)原理和可能引入的副作用后，可以按照下面的方法進(jìn)行超時(shí)設(shè)置：
設(shè)置調(diào)用方的超時(shí)時(shí)間之前，先了解清楚依賴服務(wù)的 TP99 響應(yīng)時(shí)間是多少(如果依賴服務(wù)性能波動(dòng)大，也可以看 TP95)，調(diào)用方的超時(shí)時(shí)間可以在此基礎(chǔ)上加 50%。如果 RPC 框架支持多粒度的超時(shí)設(shè)置，則：全局超時(shí)時(shí)間應(yīng)該要略大于接口級(jí)別最長的耗時(shí)時(shí)間，每個(gè)接口的超時(shí)時(shí)間應(yīng)該要略大于方法級(jí)別最長的耗時(shí)時(shí)間，每個(gè)方法的超時(shí)時(shí)間應(yīng)該要略大于實(shí)際的方法執(zhí)行時(shí)間。區(qū)分是可重試服務(wù)還是不可重試服務(wù)，如果接口沒實(shí)現(xiàn)冪等則不允許設(shè)置重試次數(shù)。注意：讀接口是天然冪等的，寫接口則可以使用業(yè)務(wù)單據(jù) ID 或者在調(diào)用方生成唯一 ID 傳遞給服務(wù)端，通過此 ID 進(jìn)行防重避免引入臟數(shù)據(jù)。如果 RPC 框架支持服務(wù)端的超時(shí)設(shè)置，同樣基于前面3條規(guī)則依次進(jìn)行設(shè)置，這樣能避免客戶端不設(shè)置的情況下配置是合理的，減少隱患。如果從業(yè)務(wù)角度來看，服務(wù)可用性要求不用那么高(比如偏內(nèi)部的應(yīng)用系統(tǒng))，則可以不用設(shè)置超時(shí)重試次數(shù)，直接人工重試即可，這樣能減少接口實(shí)現(xiàn)的復(fù)雜度，反而更利于后期維護(hù)。重試次數(shù)設(shè)置越大，服務(wù)可用性越高，業(yè)務(wù)損失也能進(jìn)一步降低，但是性能隱患也會(huì)更大，這個(gè)需要綜合考慮設(shè)置成幾次(一般是 2 次，最多 3 次)。如果調(diào)用方是高 QPS 服務(wù)，則必須考慮服務(wù)方超時(shí)情況下的降級(jí)和熔斷策略。(比如超過 10% 的請(qǐng)求出錯(cuò)，則停止重試機(jī)制直接熔斷，改成調(diào)用其他服務(wù)、異步 MQ 機(jī)制、或者使用調(diào)用方的緩存數(shù)據(jù))總結(jié)
最后，再簡單總結(jié)下：RPC 接口的超時(shí)設(shè)置看似簡單，實(shí)際上有很大學(xué)問。不僅涉及到很多技術(shù)層面的問題(比如接口冪等、服務(wù)降級(jí)和熔斷、性能評(píng)估和優(yōu)化)，同時(shí)還需要從業(yè)務(wù)角度評(píng)估必要性。
知其然知其所以然，希望這些知識(shí)能讓你在開發(fā) RPC 接口時(shí)，有更全局的視野。
作者：駱俊武
來源：IT人的職場進(jìn)階
相關(guān)問答
哪位說說 網(wǎng)關(guān)超時(shí) 什么意思_其他問答_系統(tǒng)粉路由器設(shè)置為動(dòng)態(tài)的網(wǎng)絡(luò),要求路由器的網(wǎng)關(guān)和前級(jí)的貓的網(wǎng)關(guān)不能相同。如果相同了,可以修改路由器的LAN口IP,也就是路由器的網(wǎng)關(guān)IP。如修改為:192...
什么是 網(wǎng)關(guān)超時(shí) -ZOL問答但若要跨網(wǎng)段去登錄連接到另一個(gè)網(wǎng)段的二層交換機(jī),則必須給二層交換機(jī)配置指定默認(rèn)網(wǎng)關(guān),雙方的二層交換機(jī)都要配置指定默認(rèn)網(wǎng)關(guān)地址。配置指定交換機(jī)的默認(rèn)網(wǎng)關(guān)...
網(wǎng)關(guān) 通信 超時(shí) ?網(wǎng)關(guān)超時(shí)原因和解決方法:1、該問題完全是由后端電腦之間IP通訊緩慢而產(chǎn)生,可能包括Web服務(wù)器。如果用戶的Web服務(wù)器由某一網(wǎng)站托管,只有負(fù)責(zé)那個(gè)網(wǎng)...
ping 網(wǎng)關(guān) 請(qǐng)求 超時(shí) ?ping網(wǎng)管請(qǐng)求超時(shí)說明網(wǎng)絡(luò)不通。ping網(wǎng)管請(qǐng)求超時(shí)說明網(wǎng)絡(luò)不通。
上網(wǎng)的時(shí)候，顯示“ 網(wǎng)關(guān)超時(shí) ”是啥意思?一般信號(hào)不好的時(shí)候連接校驗(yàn)時(shí)間會(huì)長,因?yàn)橛衼G包和重傳。當(dāng)你斷開連接,再次發(fā)起連接,AP會(huì)認(rèn)為你重新發(fā)起認(rèn)證,而前次認(rèn)證還未結(jié)束,導(dǎo)致兩邊不一致,連接失敗...
網(wǎng)關(guān)超時(shí) 該服務(wù)器沒有及時(shí)響應(yīng)?網(wǎng)關(guān)超時(shí)解決辦法如下:1.504錯(cuò)誤是(網(wǎng)關(guān)超時(shí))服務(wù)器作為網(wǎng)關(guān)或代理,但是沒有及時(shí)從上游服務(wù)器收到請(qǐng)求。上游服務(wù)器已關(guān)閉(不響應(yīng)網(wǎng)關(guān)/代理),而不是...網(wǎng)...
天翼 網(wǎng)關(guān) 設(shè)置 超時(shí) ?天翼網(wǎng)關(guān)登錄超時(shí)有多種原因,可能是服務(wù)器擁堵導(dǎo)致,可以等待一段時(shí)間再登錄;可能是APP緩存過多導(dǎo)致,可以嘗試清理緩存解決;可能是賬號(hào)密碼輸入錯(cuò)誤,可以嘗...
cmd連接 網(wǎng)關(guān) 為什么會(huì) 超時(shí) ?可能有多種原因?qū)е耤md連接網(wǎng)關(guān)超時(shí),包括路由器/交換機(jī)出現(xiàn)故障、網(wǎng)絡(luò)連接異常、IP地址設(shè)置錯(cuò)誤、DNS服務(wù)器不可用、網(wǎng)絡(luò)負(fù)載過高等問題。此外,也有可能由于...
tp路由ping 網(wǎng)關(guān)超時(shí) ?這中情況你要確定你內(nèi)網(wǎng)沒有其他電腦在下載,或你的電腦沒有軟件在后臺(tái)傳什么東西。首先你發(fā)現(xiàn)你的網(wǎng)絡(luò)出現(xiàn)延遲或丟包的時(shí)候,你打開你的任務(wù)管理器看看你的網(wǎng)...
比亞迪宋 網(wǎng)關(guān) 通訊 超時(shí) 什么意思?意思是:比亞迪網(wǎng)關(guān)故障,一般指的是網(wǎng)關(guān)控制器模塊出現(xiàn)故障。如果你車儀表提示網(wǎng)關(guān)控制器故障,很有可能是你車輛的CAN網(wǎng)絡(luò)出了點(diǎn)問題意思是:比亞迪網(wǎng)關(guān)故障...
