Freego 檢測相容性
完整相容性報告及相關測試檔案請至 GitHub 瀏覽 Freego 檢測相容性報告。
Freego 是一套自動化檢測工具,搭配人工檢測機制,用於台灣政府網站無障礙標章檢測相關業務。Freego 最早的版本由行政院研究發展考核委員會(研考會)委託凌網科技開發,由研考會免費提供給公眾使用;隨著政府組織調整,Freego 軟體的主管機關歷次變更,包括行政院國家發展委員會(國發會)、國家通訊傳播委員會(通傳會)等,目前為數位發展部(數發部)數位政府司(數政司),開發廠商也已變更為中華民國資訊軟體協會(中華軟協)。
目前 Freego 最新版本為 Sep 27 2024,適用於網站無障礙規範 (110.07)(註:數發部主管法規查詢系統陳列的《網站無障礙規範》是較舊的版本,不是現行版本),即對應 W3C Web Content Accessibility Guidelines (WCAG) 2.1。
Freego 在諸多方面一直飽受爭議,包括至今為止仍缺少明確的軟體使用授權協議,民眾無法檢視或取得程式源碼,未符合數發部推動的公共程式政策方向。Freego 核心功能(網站無障礙檢測)經常被認為有誤判疑慮,同時若干身心障礙團體指出通過軟體檢測的網站仍發生明顯障礙,令人懷疑 Freego 實作的各項檢測規則是否有效可信;Freego 採用的檢測規則並未遵循 W3C Accessibility Guidelines Working Group (AGWG) 發佈的 Accessibility Conformance Testing (ACT) Rules Format 1.0 推薦標準格式來設計,其產製的檢測報告也未採用 W3C Evaluation and Report Language (EARL) 1.0 Schema 格式,使得 Freego 檢測規則及檢測結果很難與其他檢測工具互相比較。
2014 年 5 月,W3C 成立了 Automated-WCAG Monitoring Community Group (Auto-WCAG CG),後於 2019 年 4 月變更為 ACT-Rules Community Group (ACT-R CG),這是由實際開發檢測工具及檢測標準程序的各國產、官、學界成員組成的社群小組,包括 Siteimprove、Deque Systems、IBM、PowerMapper、Total Validator、美國聯邦政府、LASIGE, Faculdade de Ciências da Universidade de Lisboa 等皆為小組成員。其主要的任務包括:
- 討論、設計合理且可行的無障礙檢測規則,包括自動化檢測規則及人工檢測規則。
- 促進各種無障礙檢測工具及人工檢測程序的檢測結果一致性。
ACT-R 依照 ACT Rules Format 1.0 推薦標準格式,提出檢測規則設計方式,陸續在眾成員努力之下整理維護出一系列具公信力的 ACT Rules 檢測規則(包含測試案例)。雖然數發部及 Freego 開發廠商(中華軟協)至今為止並未積極參與 ACT-R,任何人還是可以用這一系列 ACT Rules 檢測規則來驗證 Freego 的檢測相容性。
Freego 檢測相容性報告利用這個方法,把 Freego 的檢測結果與 ACT-R 整理的自動化檢測工具 ACT Rules 檢測規則實作狀況比較,結果約略如下表:
自動化檢測工具 及版本 | 實作一致 規則數量 | 實作僅部分一致 規則數量 | 實作不一致或未實作 規則數量 |
---|---|---|---|
Freego (Sep 27 2024) | 1 | 0 | 86 |
Alfa (0.80.0) | 31 | 8 | 48 |
Axe-core (4.8.3) | 30 | 11 | 46 |
Equal Access Accessibility Checker (3.1.42-rc.0) | 25 | 5 | 57 |
QualWeb (3.0.0) | 41 | 20 | 26 |
SortSite (6.45) | 44 | 0 | 43 |
Total Validator (17.4.0) | 44 | 1 | 42 |
在目前總共 87 個公認可靠的 ACT Rules 檢測規則當中,Freego 能達到實作一致(及部分一致)的規則數量只有 1 個,明顯低於其他檢測工具,實作不一致或未實作的規則數量也明顯高於其他檢測工具。不過 Freego 的本質上比較屬於半自動工具,需要搭配人工檢測機制一起實施,單獨看上述數值比較的結果未必就表示 Freego 不可信,我們還要進一步反過來,檢視 Freego 實作的檢測規則(檢測碼)是否有疑慮:
完全相容 規則數 | 部分相容 規則數 | 不相容 規則數 | 無法對應 規則數 |
---|---|---|---|
0 | 1 | 15 | 13 |
Freego 目前使用的 29 個檢測規則(檢測碼實作)當中,沒有任何一個能夠與 ACT Rules 檢測規則完全相容,僅有 1 個達到部分相容;有 15 個檢測規則(檢測碼實作)不相容,表示可能誤判(應該通過的網頁判為未通過)或無效(無法檢測出實際存在的障礙),應重新檢討程式實作,建議勿用於檢測網頁無障礙符合程度。Freego 有 13 個檢測規則(檢測碼實作)無法對應至 ACT Rules 檢測規則,表示這些檢測規則不具備充足的公信力,應避免用於無障礙標章檢測。
從上述的結果及分析來看,Freego 目前仍然是個功能不成熟、可信度及有效性皆不佳的檢測工具,即使是要搭配人工檢測機制也不夠理想。建議數發部應積極參與 ACT-R 社群小組,運用 W3C 推薦標準及相關技術,重新檢討各項檢測規則、重構 Freego 軟體(還有那說好的公共程式政策),或者乾脆改用其他更成熟也更可信的檢測工具,方能有效實施政府網站無障礙標章檢測任務。