S3QL

S3QL支持亞馬遜的S3以及任意SFTP服務器，並有效地為您提供了動態的，無限容量硬盤，可以從與網絡連接的任何計算機訪問。
S3QL是提供一個標準的，功能齊全的UNIX文件系統，從任何本地文件系統在概念上沒有區別。此外，S3QL有一個像壓縮，加密，重複數據刪除，一成不變的樹木和快照，這使得它特別適合用於在線備份和存檔的附加功能。
S3QL設計偏向簡潔和優雅在性能和功能蠕變。已經採取謹慎措施，使源代碼的可讀性和維修成為可能。固體錯誤檢測和錯誤處理已被包括在從第一行，並S3QL帶有廣泛自動化測試案例為它的所有組件。
前的文件系統可被安裝，這將保持數據的後端有被初始化。這是通過在mkfs.s3ql命令。在這裡，我們使用的是亞馬遜S3後端，和nikratio-S3QL鬥是鬥S3中的文件系統將被存儲。
mkfs.s3ql S3：// nikratio-S3QL鬥
要安裝存儲在目錄/ mnt / S3QL的S3桶nikratio_s3ql_bucket的S3QL文件系統，請輸入：
mount.s3ql S3：// nikratio-S3QL鬥到/ mnt / S3QL
現在，您可以指示你最喜歡的備份程序運行備份到目錄/ mnt / S3QL和數據將被存儲在亞馬遜S3。當您完成，文件系統與卸裝
umount.s3ql到/ mnt / S3QL

特點：

• 在透明度。從概念上講，S3QL是從本地文件系統沒有什麼區別。例如，它支持硬鏈接，符號鏈接，完整的UNIX權限，擴展屬性和文件大小可達2 TB。
• 動態尺寸。一個S3QL文件系統的大小增長，並動態地收縮的要求。
• 壓縮。入庫前，所有的數據可以壓縮與LZMA，BZIP2和LZ算法。
• 加密。壓縮後（但上傳前），所有的數據可以加密，AES使用256位密鑰。一個附加的SHA256 HMAC校驗用於保護數據被操控。
• 在重複數據刪除。如果多個文件具有相同的內容時，冗餘數據將被存儲一次。這可以跨越存儲在文件系統中的所有文件，並且如果該文件的僅某些部分是相同的，而其他部位不同。
• 在永恆樹。目錄樹可以由不可變的，以使它們的內容不能再以任何方式改變。這可以用來確保已作出後，他們的備份不能被修改。
• 在寫入時複製/快照將。 S3QL可以複製整個目錄樹，而無需使用任何額外的存儲空間。僅當所述副本中的一個被修改，已被修改會佔用更多的存儲空間內的數據的一部分。這可以被用來創建使用的空間的最小量保持在時間上的一個目錄的不同點處的狀態智能快照。
• 在高性能的獨立網絡延遲。所有操作不寫入或讀取文件內容（如創建目錄或移動，重命名和更改文件和目錄的權限）是非常快的，因為他們是在沒有任何網絡交易。
• S3QL通過保存在數據庫中的全部文件和目錄結構實現這一點。這個數據庫緩存在本地和遠程複製異步更新。
• 在支持低帶寬連接。 S3QL分割文件的內容分成更小的塊和塊緩存在本地。這最大限度地減少所需的讀取和寫入數據網絡交易的兩個數，並且數據具有當被讀出或寫入的文件的唯一零件要傳送的量。

什麼在此版本中是新的：

• 在嘗試升級文件系統，已經在最新修訂版不再呈現局部的元數據複製無法使用。
• 在谷歌的存儲桶包含點名稱不再導致問題的SSL證書驗證。
• 修正了當statvfs（）被調用一個幾乎空文件系統崩潰。
• 有一個新的＆QUOT; swiftks＆QUOT;後端的OpenStack /雨燕服務器。
• 在消除競爭條件可能導致mount.s3ql用＆QUOT崩潰; KeyError異常的集合/ abc.py＆QUOT;
• 在修復嘗試上傳對象時，接收到連接或服務器錯誤後清理時可能發生的崩潰。

什麼版本2.2是新的：

• 在S3QL現在使用SSL連接，默認情況下並驗證服務器證書。
• ，導致遠程元數據的明顯損失競爭狀態是固定的。
• 在該S3後端現在使用一個請求，如果可能的話，減少了等待時間，流量和請求的數量S3刪除多個存儲對象。
• S3QL現在能的所有數據之前，檢測服務器錯誤和重定向已被發送到服務器。
• 在新的“Rackspace公司”後端，使規範的存儲URL對象存儲區域的加入。
• 在該mount.s3ql --compress選項現在允許指定的壓縮級別。

什麼在1.15版本新：

• 現在，使用本地後端時，元數據備份騎自行車花費更少的時間。
• 在它不再要求S3QL和Python APSW鏈接到同一個SQLite的共享庫。
• 在mount.s3ql，在使用--metadata上傳間隔0固定崩潰。
• 而不是完全卸載文件系統（和離開掛載點無法訪問）時，後端的數據丟失或損壞，S3QL現在返回一個錯誤，並切換到只讀操作。

什麼是在1.13版本新：

• 在該版本修復了導致寫入格式不正確的元數據中的錯誤使用了近eglibc版本時。
• 在它試圖訪問一個目錄下，最近被刪除。s3qlrm文件系統的根目錄時修復問題。
• 在表面上的ACL的支持已被刪除。
• 在這個版本更好的手柄桶無效的DNS名稱。
• 這將重試，如果DNS不可用。

什麼是1.11.1版本，新的：

• 在這個版本使用S3後端時，修復崩潰（回歸在1.11版本中引入），增加了最低報的文件系統大小為1 TB，和周圍的DF缺陷工程，以便大小是正確的報導。

什麼是在1.11版本新：

• 在有關的元數據存儲的對象現在被分成多個字段，所以沒有字段長度超過256個字節。 （這使得S3QL與更廣泛的存儲供應商都兼容。）的SWIFT後端會重試，如果它收到來自遠程服務器5xx錯誤代碼，而不再試圖上傳數據已過期身份驗證令牌時失敗。

什麼版本1.10的新：

• 在該S3S，的S3C和GSS後端已被刪除。而不是與S3，S3C和GS後端一起使用新--ssl選項。
• 在S3QL不再保持為不同的後端軌道一致性保證。
• 在越來越多的不同的存儲供應商提供了不同的區域，冗餘和可用性水平，使這不再是可行的。
• 在用戶手冊中包含一個新的部分，＆QUOT;重要的規則，以避免數據丟失和QUOT;
• 在讀強烈推薦。

什麼是1.9版本，新的：

• 在這個版本使得文件時間不再更改更改系統時，時區，修復和改善的contrib / benchmark.p，修復＆QUOT;太多的鏈接重定向＆QUOT;錯誤，重試上5XX服務器錯誤，並增加了對OpenStack的/ SWIFT服務器和實驗代理支持實驗的原生支持。

什麼在1.8版本的新：

• 在A＆QUOT; ValueError錯誤：無法轉儲NULL值＆QUOT;當文件系統元數據在超負荷文件系統活動固定上傳崩潰。
• 在s3qlcp和目錄列表非常大的目錄性能得到改善。
• 在一個企業績效的回歸是固定的。
• - 塊大小更名為--max-OBJ-尺寸
• 在發生嚴重下的並行文件系統的使用有些崩潰是固定的。
• 在蟒蛇-llfuse 0.37現在使用。

限制：

• 在仍有大量的代碼中的錯誤，你應該準備好應對它們。不過，你可以有理由相信蟲子（雖然不方便）不會危及你的存儲數據。