kkamegawa's weblog

Visual Studio,TFS,ALM,VSTS,DevOps関係のことについていろいろと書いていきます。Google Analyticsで解析を行っています

Visual Studio Team ServicesでRe:VIEWのCIを実施する

はじめに

TFS2017本をRe:VIEWを使って書いているのですが、ローカルビルドでやっていました。ビルド環境が安定しないのと、Windows Subsystem for Linuxでpdf生成までやろうとすると、ディスク食うのでやってみたかったDockerとの連携をすることにしてみました。

VSTSビルドエージェントを作る

最初はVSTSのLinux Hosted Agentを使おうとしたのですが、残念ながらLinux Hosted AgentにGit-LFSが入っていないようで、原稿のpullができませんでした(報告済み)。
(8/25追記)今日最新のHosted Agentが更新されたようで、Git LFSも入っています。試したらちゃんとHosted Agentでビルドできました。したがって、この手順は不要です。ビルド時にLinux Hosted Agentを選択してください。

そこで、Azure(じゃなくてもいいんだけど)にUbuntu 16.04 LTSを立てて、ビルドエージェントを作ります。VSTSビルドエージェントのdockerイメージが提供されているので、素直に使います。

https://store.docker.com/community/images/microsoft/vsts-agent

f:id:kkamegawa:20170820200923p:plain

こんな感じのシェルスクリプトを作って起動させます。

docker run -d --hostname ubuntsu001 \
  -e VSTS_ACCOUNT={vsts account} \
  -e VSTS_TOKEN={PAT} \
  -e VSTS_WORK='/var/vsts/$VSTS_AGENT' \
  -v /var/vsts:/var/vsts \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -it microsoft/vsts-agent

PAT(Personal Access Token)は最長一年なので、気を付けてください。期限切れの通知もありません。Sprint 136の新機能でPATの有効期限切れが通知されるようになりました。

VSTSエージェントをdockerで実行します。/var/run/docker.sock をマウントさせるのはほんとはまずいらしいのですが、VSTSエージェントはsshなどでログインさせる必要がないので、大丈夫のはずです。

qiita.com

Dockerレジストリへの接続設定

最初にDocker拡張機能を追加します。

marketplace.visualstudio.com

f:id:kkamegawa:20170820200904p:plain

拡張機能を追加すると、dockerビルドタスクが使えるようになります。コンテナイメージを都度pullする場合、管理ページからdocker.comへの接続を作ります。

f:id:kkamegawa:20170820200858p:plain

DockerIDとパスワードを指定します。

Re:VIEW文書をビルドする

本のPDF/epubごとにビルドタスクを作ります。

f:id:kkamegawa:20170820200916p:plain

  • DisplayName:タスクの表示名です。好きな名前でどうぞ
  • Container Registry Type: Azureコンテナレジストリか、それ以外か
  • Docker Registry Connection:上で作成したdocker.comへの接続を選択します
  • Action:pullしたイメージを実行するので、"Run an image"
  • Image Name:vvakameさんが提供してくれてる、vvakame/reviewを指定します。

f:id:kkamegawa:20170820200909p:plain

  • Volumes: マウントするボリュームを選択します。$(Agent.BuildDirectory)配下にTeXフォントキャッシュ(?)を指定します。ビルドで使用する$(Build.SourcesDirectory)をマウントしておきます。
  • Command: ビルドに指定するコマンドを指定します。
/bin/sh -c "cd $(Build.SourcesDirectory)/1_setup && review-pdfmaker config.yml"

ソースリポジトリからpullしたソースが$(Build.SourcesDirectory)にあるので、その下/1_setupでPDFを作ります。

この記事中に出てくる$()で囲まれている文字列は、VSTS内で定義されている値です。どんな値が定義されているかはこちらに載っています。

www.visualstudio.com

例えば、Gitのコミットハッシュやブランチ名などを使うのもいいでしょう。

$(Build.SourcesDirectory)などのこの記事中の値はすべてVSTSでデフォルト定義されているものしか使っていませんが、例えばデータベースへのパスワードなどはvariablesハブで定義した独自の値を使うこともできます。

実際データベースのパスワードのような機密性の高い値はvariableへの直書きではなく、variable groupsに定義して、さらにAzure KeyVaultに保存しましょう。

ビルドのvariablesはビルド内しか使えませんが、variable groupsに登録しておけば、ビルドとリリースの両方で使えます(今回はリリースを使っていませんが)。

成果物にする

Re:VIEWでは特に指定しなければ、ソースフォルダ直下に作成します。このままではすぐに消えてしまうので、どこかに取っておきます。ここではVSTSの中に保持しておきます(これもデフォルトでは一定期間で削除されます)。

www.visualstudio.com

www.visualstudio.com

f:id:kkamegawa:20170820212349p:plain

まず、成果物として、VSTS内に保存したいファイルだけをソースファイルからステージングフォルダへコピーします。次で説明するPublish to Artifactタスクがフォルダ丸ごとのコピーしかできないためです。

  • Source Folder:$(Build.SourcesDirectory)を指定します。
  • Contents:コピーしたいファイルを選択します。minmatchパターンが使えます。
  • Target Folder:$(Build.ArtifactStagingDirectory)を指定します。

f:id:kkamegawa:20170820212642p:plain

Publish ArtifactタスクでVSTS内に保存します。

  • Path to Publish:先ほどコピーした$(Build.ArtifactStagingDirectory)を指定します。
  • Artifact Name:成果物の名前です。dropを慣例的につけてます。
  • Artifact Type:Serverを指定すると、VSTSに保存します。File Shareを指定すると、UNCのファイル共有になります。実際はAzure Storageのファイル共有になるでしょう。

f:id:kkamegawa:20170820212345p:plain

ビルドが成功すれば、このようにartifactsに格納されます。

成果物の原稿を他人と共有する(追加)

VSTSは無料で5人まで無制限のGitリポジトリとしてアクセスできます。ただ、epub/pdfだけアクセスできればいいという場合、ライセンスを使うのももったいない話です。

そういう場合、ビルドタスクで各種クラウドストレージやGitHubに送るという方法が考えられます。

例えば、ビルド成果物をGitHub Releaseに送る拡張機能。

marketplace.visualstudio.com

AWSのS3などに送るための拡張機能。

marketplace.visualstudio.com

標準機能でもあるのですが、ビルドできたことをSlackへ通知するための拡張機能(VSTSへのアクセス権がある人はメール通知もできます)。

marketplace.visualstudio.com

www.visualstudio.com

#MS Teamsは現時点では残念ながらAzure ADで運用しているVSTSじゃないと使えません。

最初はMS FlowやLogic Appを使って通知および、ファイルコピーしようと思ったのですが、VSTSのコネクタにはビルド成果物へのアクセスがないので、REST APIを使うしかないようです。

www.visualstudio.com

個人的にはAzureのBlobストレージへのコピーをやろうとしているのですが、Azure CLI 2.0のコマンドがよく理解できなくて止まってます…。Windows上のエージェントだったらPowerShellやAzCopyを使ったコピーが楽にできるのですが。

#.NET CoreベースのAzCopyにはまだ公式Dockerイメージがないようなので。自分で作るしかないか…。

終わりに

dockerをあまり理解しておらずやってたので、結構試行錯誤しました。これでCIができました。VSTSのhosted agent使えばビルド時にdockerイメージをpullすることもできるはずです。

Git LFSが入っていないことに気づくまで、何回かHosted Agentでやったのですが、vvakame/reviewイメージのダウンロードは大体30秒かからないようです。でも、毎回だとちょっときついですね。

Azure Active Directory Domain ServicesでTFSを使ってみる

Azure Active Directory Domain Servicesができたときからぜひ使ってみたいと思っていました。フルマネージドなので、AD特有の面倒なことが解消されそうです。

azure.microsoft.com

ただ、いろいろ問題もあります。

  • 高い。裏で4台くらいのサーバーを動かしているので、しょうがないのですが、もうちょっとお安くならないものかと…。
  • 全部の機能が使えない。例えば、Domain AdminやEnterprise Adminといった権限はないので、Kerberos認証に必要なsetspnが使えません。これは回避策があります(後述)。
  • 現在、クラッシックデプロイしかサポートされていないので、ARMベースのデプロイする仮想マシンとつなぐ場合VPNが必須。

田中さんもかかれているので、こちらもどうぞ。

tech.tanaka733.net

作ってみる

f:id:kkamegawa:20170727063925p:plain

Azureポータルから、Azure AD Domain Servicesを検索して作っていきます。

f:id:kkamegawa:20170727063921p:plain

ディレクトリは初期値では「既定のディレクトリ」しかないので、選択できません。カスタムドメイン(exsample.jpなど)を作りたい場合は、クラッシックポータルからドメインを作っておきましょう。既定のディレクトリは~.onmicrosoft.comが作られています。

このonmicrosoft.comの前のドメイン名はクラッシックポータルでは変更できるように見えるのですが、変更してもユーザー追加のところで追加できないので、変えないでおきましょう。そのまま。

リソースグループやら、場所を選択します。

f:id:kkamegawa:20170727063914p:plain

ネットワークに仮想ネットワークとアドレス空間、サブネットを指定します。DNSで二つとられるし、なに使うかわからないので、どーんととっておきます。ここでは/22を指定しています。クラッシックポータルで作るときは/22位がデフォルトだったはずですが、新ポータルでは/24がデフォルトです。

サブネットは/24を指定しています。

f:id:kkamegawa:20170727063911p:plain

これでOK押して確定。

f:id:kkamegawa:20170727064222p:plain

AAD DC Administratorsというグループがいわゆるドメイン管理者(正確にはもっとロックダウンされていますが)になります。とりあえずここでサブスクリプションの管理者を追加しておきます。

f:id:kkamegawa:20170727064218p:plain

で、これで全部できました。OKを押すとデプロイが始まります。Azure AD Domain ServicesはVPNと仮想マシンを結構いっぱいデプロイするので、実際に使用できるまでにかなり時間がかかります。30分くらいは見ておいたほうがいいです。

f:id:kkamegawa:20170727063932p:plain

その間、クラッシックポータルでユーザーを追加しておきます。TFSをActive Directoryで使う場合、AP層のユーザー、SQL Server Reporting(もうほとんどいらなくなりましたが)のユーザー、SQL Server用のユーザーあたりはあったほうがいいです。作っておきましょう。

ここで追加したユーザーはドメイン内の一般ユーザーになります。username@~.onmicrosoft.comでログオンできるユーザーですね。

VPNピアリング

f:id:kkamegawa:20170728054941p:plain

クラッシック仮想マシンなら必要はないのですが、もう今どきクラッシック使いたくないですよね。Azureの新機能の恩恵もうけれないし。ということでVPNピアリングを設定します。

注意点としてはIPアドレス空間が重ならないように、ということくらいです。

docs.microsoft.com

Kerberos の制約付き委任を構成する

docs.microsoft.com

setspnが使えないので、こちらの方法でKerberosの制約付き委任を構成します。

完成

これで一通りできました。あとは普通にWindows Serverを構成して、仮想ネットワークだけ明示的に既存のものを指定するだけです。

Windows Serverのドメイン参加はAAD DC Adminグループに追加した@~.onmicrosoft.comユーザーで実施します。ドメインに参加した後、Windows Serverのドメインログオンは username@~.onmicrosoft.comでできます。

Visual Studio Team Services 2017/6/22の更新

VSTSの6/22の更新(Sprint 119)のリリースノートの概要訳を行いました。オリジナルはこちらから読んでください。

www.visualstudio.com

今回の更新は一部先日公開されたTFS 2017 Update 2 RC2にも含まれています。アイコンの見た目が変わって、ぱっと見識別しやすくなりましたね。

影響が大きいところではHosted Agentが変わって、Visual Studioのバージョンに対応するHosted Agentが用意されるようになったことですね。デフォルトのプールがなくなるので、今後注意が必要になります。将来的にはコンテナにしたいみたいなことを書いていましたが、でかくなるんだろうな…。

あと、作業項目フォームの各フィールドに枠線がつけられるようになったのは助かります。確かに枠線がないと、どこ入力していいのかわからないんですよね。早速切り替えましたw。

パッケージ管理のフィードがわかりやすくなったのもいいですね。GUID大好きなMSですが、ここは廃止したほうがいいように思います。

後何気に気付いたんですが、前回のSprint 118の翻訳でちょうど翻訳始めてから一年になりました。これからも怒られないか、MSがやらない限りはぼちぼち続けていきますんで、よろしく!

ではまた三週間後。

translate to Japanese to VSTS release notes from h …

VSTS/TFSの継続的インテグレーションとデータベース接続と単体テスト

データベース接続を動的に作る

最近、id:ishikawa-tatsuya さんのLambdicSQLというSQLをラムダでかいちゃおう、というOSSをid:odashinsukeさんと一緒にやってます。いろいろなデータベースに対応する(予定)ですが、とりあえず三人のスキルセットがそろっているSQL Serverを最初にやっています。

github.com

今までは個人でビルドしていましたが、CIやってみようかということで、個人的にVSTSのビルド定義を作ってみました。テストには当然SQL Serverを使うのですが、個人でやるときはそれぞれのSQL Server(LocalDBでもいいはずです)を使えばいいものの、CIとなるとちょっと困る。

接続情報はほかの人には教えたくないこともあり、LambdicSQLではProjectフォルダの下にdb.txtというファイルを作って、接続情報をそのまま平文で書いておくことになっています(もちろんgitignoreには定義済み)。

ではCIのときはどうするか?ということですが、こんな感じでやってます。

f:id:kkamegawa:20170510065239p:plain

まず、普通にVisual Studioのビルドテンプレートを作ります。次にPowerShellのタスクでインラインスクリプト(inline script)を追加します。new-item(別に要らないけど)とadd-contentコマンドレットで、db.txtにSQL Databaseへの接続情報を書いています。

f:id:kkamegawa:20170509055356p:plain

接続情報はそのまま隠すので、variableに独自で文字列を定義して、そのまま書いています。ほんとはタイムアウトとか変更できるように、サーバー名とユーザーID, パスワードだけ隠せばいいんですが。

テストを選別する

とはいえ、毎回すべてのテストが必要なわけでもありません。特にLambdicSQLにはデータベースをcreate/dropするテストもあります。SQL Databaseを作成するたびに2.33円(デフォルトのStandard S0の場合)かかるのはお財布にも優しくありません。

f:id:kkamegawa:20170509071834p:plain

そこでこんな風に、TestCategoryやPriority属性をつけておきます。

f:id:kkamegawa:20170509071833p:plain

テストエクスプローラーで「特徴」を選択するとこんな風にPriority1(CreateDrop以外)とPriority2(CreateDropDatabase)が区別できます。

f:id:kkamegawa:20170510064216p:plain

ビルドのTest AssembliesタスクのTest filter criteriaにPriority=1と指定すると、Priority属性が1のテストだけ実行されます。