降低 Matrix Synapse 中的 PostgreSQL 記憶體壓力
找出 PostgreSQL 記憶體消耗是來自查詢工作、共享緩衝區、連接還是維護,然後進行有針對性的、Synapse 安全的變更。
如果 PostgreSQL 為 Matrix Synapse 消耗的記憶體超出預期,首先要確定記憶體是否來自共用緩衝區、活躍查詢、自動清理或大量連線。然後逐一調整記憶體來源並再次測量。 Synapse 本身的 Python 工作進程也會佔用大量內存,因此在更改資料庫設定之前,請確認 PostgreSQL 進程或資料庫容器是記憶體消耗的來源。
PostgreSQL 使用共享記憶體作為緩存,每個伺服器連接和查詢使用私有內存,並使用作業系統頁面快取。在 Linux 系統中,顯示為「已使用」的記憶體可能包含可回收的檔案系統快取;僅憑這個數字並不能證明資料庫正處於壓力之下。需要關注持續的低可用內部、交換活動、記憶體溢位事件,或容器接近其記憶體限制的情況。將這些訊號與 Synapse 和 PostgreSQL 流程指標進行比較。
PostgreSQL 後端是一個處理客戶端連線的伺服器程序。 Synapse 的資料庫連線池可以為每個程序開啟多個後端,每個 Synapse 工作程序都有自己的連線池。因此,增加工作進程數量或連接池大小會增加並發資料庫工作量和記憶體需求。操作:在調整 PostgreSQL 設定之前,請先清點 Synapse 進程、工作進程數量、連接池設定、PostgreSQL 連線數以及主機或容器的記憶體限制。
以管理員身份連接到 Synapse 資料庫,並檢查控制記憶體和連接的設定:
SHOW shared_buffers;
SHOW work_mem;
SHOW maintenance_work_mem;
SHOW autovacuum_work_mem;
SHOW max_connections;
shared_buffers這是 PostgreSQL 的共享緩存,在伺服器啟動時分配。work_mem這是針對排序和雜湊表的每次查詢操作的預算,而不是針對每個伺服器的上限;一個查詢可能使用多個此類操作,並且多個連接可以同時執行它們。當執行多個維護工作進程時,維護和自動清理記憶體也會倍增。建議:將配置值與可用 RAM、並發性和 Synapse 連接數進行比較,而不是假設最大設定最佳。
使用此查詢可以查看已連線的用戶端會話數量以及它們是處於活動狀態還是空閒狀態:
SELECT application_name, state, count(*)
FROM pg_stat_activity
GROUP BY application_name, state
ORDER BY count(*) DESC;
在部署支援的情況下,檢查 PostgreSQL 容器的記憶體限制,並使用其指標或主機進程和 cgroup 指標。將所有 PostgreSQL 程序的駐留記憶體相加可能會高估共享頁面數。操作:使用容器或主機的總記憶體統計資料來驗證記憶體壓力,然後使用連接和查詢統計資料來識別可能的記憶體不足來源。
首先進行檢查work_mem。當並發查詢執行多個排序或哈希操作時,較高的值會消耗大量記憶體。如果測量結果顯示查詢並發性導致記憶體使用量倍增,請謹慎降低此值;但這樣做的缺點是,大型操作可能會溢出到臨時文件,從而導致運行速度變慢。避免從其他伺服器複製通用值,因為 Synapse 工作負載和 PostgreSQL 版本會影響結果。
PostgreSQL 文件將其描述shared_buffers為主要共享緩存,並建議僅對至少配備 1 GB 記憶體的專用資料庫伺服器分配約 25% 的記憶體作為合理的起始值。文件還指出,分配超過 40% 的記憶體不太可能對大多數工作負載有所幫助,因為 PostgreSQL 也依賴作業系統快取。建議:將這些數值作為參考,而非 Synapse 共享主機的目標值;如果共享緩衝區已經佔用大量內存,請在計劃重啟期間評估並降低分配值。
檢查 Synapse 的 `connection-pool`database.args.cp_min和`connection-pool`cp_max參數在 worker 設定檔中的值homeserver.yaml。 Synapse PostgreSQL 指南將這些設定表示為最小和最大連接池大小。當存在多個 worker,每個 worker 都有一個連線池時,總連線數可能遠大於單一檔案中的值。降低連線池大小cp_max可以限制並發資料庫後端及其記憶體佔用,但連線池過小則會導致請求等待連線。
database:
name: psycopg2
args:
user: synapse_user
password: "use-a-secret-store-or-protected-config"
dbname: synapse
host: 127.0.0.1
port: 5432
cp_min: 2
cp_max: 5
以上數值僅供參考,並非普遍適用的建議。請統計主程序和每個工作進程的連線池數量,並為管理、遷移、監控和其他用戶端預留足夠的空間。 PostgreSQL 會根據並發量分配部分資源max_connections,因此「以防萬一」提高連線池限制可能會增加基準記憶體壓力。建議:將 Synapse 連線池數量限制在您實際並發量所需的水平,並確保 PostgreSQL 的連線數限制足以滿足所有服務以及管理存取的需求。
PostgreSQL 可能會為清理和索引操作分配維護記憶體。自動清理記憶體可以分配給每個自動清理工作進程,因此較大的記憶體設定加上多個工作進程可能會導致峰值記憶體使用量增加。不要為了減少記憶體而停用自動清理:它執行必要的表維護。操作:檢查峰值期間的日誌和活動,然後調整記憶體使用量maintenance_work_mem,或autovacuum_work_mem僅在確認這些操作是峰值原因時才進行調整。
請先備份 PostgreSQL 和 Synapse 設定。每次只更改一個變數或連線池限制,安全地保留現有憑證,並使用與您的軟體包或容器相對應的配置路徑。某些 PostgreSQL 參數(包括 `--reload-limit`shared_buffers和 ` max_connections--reload-limit`)需要重啟伺服器;可重新載入的設定可以透過 PostgreSQL 支援的重新載入機制應用。在假設重新載入已套用設定之前,請檢查設定的上下文。
更改後,請在典型的繁忙時段內監控峰值內存使用量、交換空間使用量和內存溢出事件、活動連接數、查詢延遲、臨時文件活動以及 Synapse 請求延遲。如果此變更能夠在不導致持續連線等待、查詢速度變慢或要求積壓不斷增加的情況下降低記憶體壓力,則此變更是有效的。如果 Synapse 進程而非 PostgreSQL 進程佔用內存,則需要單獨調整 Synapse 的快取行為和工作進程數;PostgreSQL 設定無法解決 Python 工作進程佔用記憶體的問題。
不要將內存使用量設定work_mem為等於整個伺服器的內存,max_connections不要在未計算內存池總量的情況下提高內存使用量,也不要禁用自動清理功能來一刀切地解決問題。如果記憶體使用量仍然很高,請在高峰期擷取相關指標,並在新增硬體或進行大規模配置變更之前,請檢查實際執行的查詢和連接來源。
找出 PostgreSQL 記憶體消耗是來自查詢工作、共享緩衝區、連接還是維護,然後進行有針對性的、Synapse 安全的變更。
在變更 Synapse 設定之前,請追蹤 Matrix 房間加入速度慢的原因,例如遠端 homeserver、聯盟退避、本機資料庫載入或出站傳送佇列。
停止在自架 Synapse 伺服器上建立公開帳戶,或保持註冊僅限邀請,並限制註冊令牌的使用次數。
Clear Element 會使用受信任的裝置或復原金鑰發出未驗證會話警告,並進行檢查以保護您的加密聊天記錄。
區分資料庫鎖定和過期的 WebDAV 鎖定,然後選擇並設定正確的 ownCloud 10 修復程式。
透過有針對性的檢查,追蹤 ownCloud Web 空白畫面的原因,包括瀏覽器快取、缺少 Web 資源、服務錯誤或反向代理 URL 設定。
設定 ownCloud 的 Web PHP 記憶體限制,重新啟動對應的服務,並驗證活動值,不要將其與 CLI 設定或上傳限制混淆。
找出 MySQL、PHP、套接字設定或資料庫權限是否阻止了 ownCloud 10 的運行,然後驗證安全修復方案。
在 ownCloud Classic 中強制設定公共連結過期時間,設定最長有效期,並檢查可能需要單獨清理的現有共享。
透過 Keycloak 啟用 TOTP,安全地註冊用戶,並了解 Infinite Scale 的路由級 MFA 設定何時適用。