kickflowでは現在、複数のAI機能を提供しています。 以前、AI申請前レビュー機能の品質評価プロセスをご紹介しましたが、そのとき評価の進め方を手探りで組み立てた経験から、ひとつの課題が見えてきました。
「この精度なら出していいのか？」「どこまでテストすればリリースできるのか？」 機能ごとに判断基準がバラバラだったことから、AI機能全体で統一した品質基準が必要だと感じました。
従来のソフトウェアであれば、テストがすべて通ればリリースできます。 しかしAI機能は、同じ入力でも毎回異なる結果が返ることがあり、「全部正解」を前提にできません。 だからこそ、「この状態ならリリースしてOK」という最低ラインを明文化する 必要がありました。
この記事では、kickflowが策定したAI機能の品質基準と、リリース判定までの評価プロセスをご紹介します。 AI機能のQAや品質基準づくりに取り組んでいる方の参考になれば幸いです。
続きを読む
こんにちは、kickflow QAチームの川村です。
今回は、PlaywrightのE2Eテストを12並列で実行しているにもかかわらず、特定のシャードだけが80分かかってボトルネックになっていた問題を、実行時間ベースのバランスドシャーディングを自作して解消した話をします。
以前の記事「ローカル環境で動くCypressテストの並列実行を自作して高速化した話」で「今後の展望」として触れた「実行時間に基づいたインテリジェントなテスト分割」を、今回CIのPlaywright環境で実現しました。
テストの並列実行はCI高速化の定石ですが、「均等に分割しているはずなのに、なぜか1つだけ異常に遅い」という経験をお持ちの方も多いのではないでしょうか。
この記事では、Playwrightの標準シャーディングの限界と、実行時間データに基づくインテリジェントなシャード配分の実装について解説します。
こんにちは、プロダクト開発本部でエンジニアをしている秋山です。
みなさん、普段から MCP サーバーを活用していますか？ 一時期、シェルコマンドのラッパーとして MCP サーバーを使っているケースも見受けられたものの、よりトークン消費数の少ない Agent Skills の台頭により以前よりは下火になった印象ですが、外部サービスとの認証付き連携においては依然として必要な仕組みです。
そして、実は kickflow も MCP サーバを公開しているのを知っていましたか？
ひっそりと公開されていて知らない人も多そうなので、この記事では kickflow MCP サーバーの宣伝もかねて、公開から今に至るまでの変遷を追いかけていきます。
続きを読む
こんにちは、kickflow QAチームの川村です。
「E2Eテストを書きたいけど、コードを書くのはハードルが高い」。
こうした悩みを持つQAメンバーは多いのではないでしょうか。
kickflowでは、Playwright CodegenとClaude Codeを組み合わせた /codegen-test スキルを開発し、この課題を解決しました。
ブラウザをポチポチ操作するだけで、AIがコードを自動整形し、すぐに使えるテストファイルが出力されます。
チームでは実際に、プログラミング経験が浅いQAメンバーがPlaywrightを利用した新規E2Eテストのシナリオを実装しています。
本記事では、このアプローチの詳細と実践方法を紹介します。
